[논문 리뷰] Using eigenvectors of the bigram graph to infer morpheme identity

Mikhail Belkin, John Goldsmith|ArXiv.org|2002. 07. 02.

Natural Language Processing Techniques참고 문헌 2인용 수 4

한 줄 요약

이 논문은 원시 코퍼스에서 생성된 바이그램 그래프의 고유벡터를 활용하여 비지도 학습 방법으로 형태소 정체성을 추론한다. 그래프의 인접행렬을 분해함으로써 유사한 문법적 범주를 가진 단어들이 2차원 임베딩 공간에 군집되며, 이는 -tion과 같이 일관된 문법적 기능을 수행하는 접미사(예: 명사 표시자)를 식별할 수 있게 해주며, 레이블이 없는 환경에서 전통적 방법보다 더 뛰어난 성능을 보인다.

ABSTRACT

This paper describes the results of some experiments exploring statistical methods to infer syntactic behavior of words and morphemes from a raw corpus in an unsupervised fashion. It shares certain points in common with Brown et al (1992) and work that has grown out of that: it employs statistical techniques to analyze syntactic behavior based on what words occur adjacent to a given word. However, we use an eigenvector decomposition of a nearest-neighbor graph to produce a two-dimensional rendering of the words of a corpus in which words of the same syntactic category tend to form neighborhoods. We exploit this technique for extending the value of automatic learning of morphology. In particular, we look at the suffixes derived from a corpus by unsupervised learning of morphology, and we ask which of these suffixes have a consistent syntactic function (e.g., in English, -tion is primarily a mark of nouns, but -s marks both noun plurals and 3rd person present on verbs), and we determine that this method works well for this task.

연구 동기 및 목표

• 원시 코퍼스에서 일관된 문법적 기능을 가진 형태소를 식별하기 위한 비지도 방법을 개발한다.
• 통계적 패턴을 활용하여 여러 문법적 역할을 수행하는 형태소(예: 복수형과 제3인칭 단수를 위한 -s)를 구분하는 과제를 해결한다.
• 유도된 접미사 중에서 명확한 문법적 행동을 보이는 것을 식별하여 자동 형태론 학습을 확장한다.
• 단어 공존 구조의 구조적 패턴이 사전 주석 없이도 형태구문적 범주를 드러내는지 탐색한다.
• 스펙트럴 그래프 방법이 어형 형태의 문법적 규칙성을 얼마나 잘 포착하는지 평가한다.

제안 방법

• 연속된 위치에 나타나는 단어 쌍 간의 공존 관계를 기반으로 이웃 기반 바이그램 그래프를 구축한다. 여기서 노드는 단어를 나타내며, 인접한 위치에 나타나는 단어 간에 간선이 연결된다.
• 연속된 단어 쌍 간의 공존 빈도를 기반으로 가중치가 부여된 인접행렬을 구성한다.
• 그래프 라플라시안 또는 인접행렬의 고유벡터 분해를 수행하여 저차원 임베딩을 추출한다.
• 첫 번째 몇 개의 고유벡터(특히 두 번째 및 세 번째)를 사용하여 단어들을 2차원 공간으로 투영하며, 이 공간에서 문법적 범주가 공간적으로 군집되도록 한다.
• 이 임베딩을 활용해 비지도 형태론 학습을 통해 유도된 접미사를 분석하고, 그 문법적 일관성을 평가한다.
• 고유공간 내에서 단어를 군집화하고, 접미사가 일관된 문법적 범주(예: 명사 형성 vs. 동사 동조)에 해당하는지 평가한다.

실험 결과

연구 질문

• RQ1 바이그램 그래프의 고유벡터가 원시적이고 주석이 없는 코퍼스에서 문법적 범주를 효과적으로 드러내는가?
• RQ2 비지도 형태론 학습을 통해 유도된 접미사 중에서 단어 형태 간에 일관된 문법적 행동을 보이는 것은 무엇인가?
• RQ3 단어 공존 패턴의 스펙트럴 군집화가 형태소 경계와 문법적 기능을 얼마나 잘 식별하는가?
• RQ4 이 방법은 감독 없이도 모호한 접미사(-s 등)와 명확한 접미사(-tion 등)를 구분할 수 있는가?
• RQ5 명사, 동사, 형용사와 같은 문법적 범주가 고유공간에서 공간적으로 일관된 군집을 형성하는 정도는 어느 정도인가?

주요 결과

• 동일한 문법적 범주에 속하는 단어들은 바이그램 그래프에서 유도된 2차원 고유공간에서 공간적으로 일관된 이웃 관계를 형성한다.
• 이 방법은 -tion이 일관된 명사 표시 접미사로 성공적으로 식별되었으며, 임베딩 내에서 높은 문법적 일관성을 보였다.
• -s와 같이 여러 문법적 기능을 수행하는 접미사(예: 복수형 명사 및 제3인칭 단수 동사)는 덜 일관된 군집을 보이며, 이는 그 모호성에 기인한다.
• 고유벡터 기반 접근법은 문법적 역할이 명확한 형태소를 식별하는 데 기존의 통계적 방법보다 뛰어난 성능을 보였다.
• 스펙트럴 분해 방법은 품사 태깅이나 형태론적 주석이 없더라도 문법적 규칙성을 효과적으로 포착하였다.
• 이 기법은 단어 인접성의 구조적 패턴과 문법적 기능을 연결함으로써 형태소 정체성의 신뢰성 있는 추론을 가능하게 하였다.