[논문 리뷰] Using Curvature and Markov Clustering in Graphs for Lexical Acquisition and Word Sense Discrimination

Beate Dorow, Dominic Widdows외 4명|arXiv (Cornell University)|2004. 03. 29.

Natural Language Processing Techniques참고 문헌 18인용 수 59

한 줄 요약

이 논문은 영국 국립 코퍼스(British National Corpus)의 의미 관계를 이용해 어휘 획득과 어휘의 의미 구분을 위한 두 가지 그래프 기반 방법—곡률 기반 군집화와 링크 군집화—를 제안한다. 명사들을 노드로, 그들의 병렬 어순에서의 동시출현을 간선으로 모델링함으로써, 저자들은 그래프 곡률을 사용해 핵심 노드를 식별하고, 마르코프 군집화(Markov Clustering)를 통해 링크를 의미적으로 일관된 군집으로 분할한다. 링크 군집화는 다른 방법들보다 뛰어난 성능을 보이며, WordNet의 6단계 이내에서 85% 이상의 정확도를 달성하여 어휘의 의미 구분과 어휘 획득에서 뛰어난 성능을 입증한다.

ABSTRACT

We introduce two different approaches for clustering semantically similar words. We accommodate ambiguity by allowing a word to belong to several clusters. Both methods use a graph-theoretic representation of words and their paradigmatic relationships. The first approach is based on the concept of curvature and divides the word graph into classes of similar words by removing words of low curvature which connect several dispersed clusters. The second method, instead of clustering the nodes, clusters the links in our graph. These contain more specific contextual information than nodes representing just words. In so doing, we naturally accommodate ambiguity by allowing multiple class membership. Both methods are evaluated on a lexical acquisition task, using clustering to add nouns to the WordNet taxonomy. The most effective method is link clustering.

연구 동기 및 목표

• 코퍼스 데이터로부터의 의미 관계 모델링을 통해 어휘 획득에서의 어휘의 의미 다의성 문제를 해결하기 위해.
• 단일 어휘가 여러 군집에 속할 수 있도록 허용하는 그래프 이론 기반 방법을 개발하기 위해.
• 어휘의 의미를 분류하는 작업에서 단어를 WordNet 분류 체계에 추가하는 데 있어 군집 기법을 평가하기 위해.
• 노드 기반 군집화(곡률 및 MCL)와 링크 기반 군집화의 효과성을 비교하여 의미 유사성과 의미 차이를 포착하는 데 있어 어떤 것이 더 우수한지 평가하기 위해.

제안 방법

• 비어 있는 명사 어순에서의 동시출현 패턴을 이용해 영국 국립 코퍼스(British National Corpus)에서 어휘 그래프를 구축하며, 노드는 명사를 나타내고 간선은 명사의 병렬 어순에서의 동시출현을 나타낸다.
• 그래프 곡률을 적용하여 단어의 이웃 노드 간의 상호연결 정도를 측정하며, 곡률은 해당 단어의 이웃 노드들이 형성하는 실제 삼각형 수와 가능한 삼각형 수의 비율로 정의된다.
• 마르코프 군집화(Markov Clustering, MCL)를 사용하여 무작위 보행을 시뮬레이션하고 그래프 내에서 조밀하고 일관된 군집을 식별한다.
• 각 어순 패턴을 의미적 노드로 간주함으로써 링크 군집화를 도입하여 더 세분화되고 맥락에 민감한 군집화를 가능하게 한다.
• 삼각형에 참여하는 간선들만 유지함으로써 노이즈를 줄이며, 의미적 관련성의 상호 확인을 보장한다.
• 어휘 획득 평가를 위해 군집 레이블을 WordNet 분류 체계와 비교하며, 주어진 수의 중간 WordNet 단계 이내에서 정확도를 측정한다.

실험 결과

연구 질문

• RQ1 그래프 곡률이 의미적으로 일관된 어휘 군집을 효과적으로 식별하면서도 다의성 문제를 다룰 수 있는가?
• RQ2 어순 패턴을 노드로 간주하는 링크 군집화가 노드 기반 군집화보다 어휘의 의미 구분 능력을 향상시키는가?
• RQ3 동일한 어휘 획득 작업에서 곡률 기반 군집화와 마르코프 군집화(Markov Clustering)의 성능는 어떻게 비교되는가?
• RQ4 그래프 기반 방법이 사전 어휘 자원 없이도 원시 텍스트에서 의미 관계를 학습할 수 있는 정도는 어느 정도인가?
• RQ5 결과로 도출된 군집이 WordNet의 계층적 구조와 얼마나 정확하게 일치하는가?

주요 결과

• 링크 군집화는 6단계 이내에서 85% 이상의 정확도를 기록하며, 곡률 군집화와 표준 MCL보다 뚜렷이 뛰어난 성능을 보였다.
• 링크 그래프에 적용한 MCL는 1,200개의 테스트 단어 중 잘못 할당된 레이블이 14개로 가장 적었으며, 원본 그래프에 적용한 MCL는 32개, 곡률 군집화는 69개였다.
• 곡률 군집화는 낮은 커버리지로 인해 1,200개의 테스트 단어 중 854개를 군집화하지 못했으며, 이들에 대해서는 깊이 우선 탐색을 사용해 군집에 할당해야 했다.
• 최고 빈도 범주에서 링크 군집화는 원본 그래프에 적용한 MCL를 6단계 이후로 앞서며, 정확도 면에서 일관된 우월성을 보였다.
• 가장 높은 빈도를 가진 단어들에 대해서는 링크 군집화가 12단계 이내에서 100%의 정확도를 달성하여 고커버리지 어휘에 대해 매우 뛰어난 성능을 보였다.
• 결과는 링크 군집화가 맥락 기반 의미적 차이를 더 잘 포착함으로써 어휘 획득과 어휘의 의미 구분에 더 효과적임을 확인한다.