[논문 리뷰] Discovery of Linguistic Relations Using Lexical Attraction

Deniz Yüret|ArXiv.org|1998. 05. 27.

Bayesian Modeling and Causal Inference참고 문헌 41인용 수 95

한 줄 요약

이 논문은 정보 이론을 사용하여 단어 간 직접적인 언어 관계(예: 주어-동사 또는 목적어-서술어)를 표현하는 확률적 프레임워크인 어휘 유인 모델을 소개한다. 학습과 처리를 상호 교차시키면서, 원시 텍스트에서 시작하여 내용어에 대해 60% 정밀도와 50% 재현율을 달성하는 문법적 관계를 식별한다. 이는 이전의 비지도 학습 방법이 局부 최대값과 열악한 표현 방식으로 인해 원시 입력에서 향상되지 못한 데 비해, 더 뛰어난 성능을 보인다.

ABSTRACT

This work has been motivated by two long term goals: to understand how humans learn language and to build programs that can understand language. Using a representation that makes the relevant features explicit is a prerequisite for successful learning and understanding. Therefore, I chose to represent relations between individual words explicitly in my model. Lexical attraction is defined as the likelihood of such relations. I introduce a new class of probabilistic language models named lexical attraction models which can represent long distance relations between words and I formalize this new class of models using information theory. Within the framework of lexical attraction, I developed an unsupervised language acquisition program that learns to identify linguistic relations in a given sentence. The only explicitly represented linguistic knowledge in the program is lexical attraction. There is no initial grammar or lexicon built in and the only input is raw text. Learning and processing are interdigitated. The processor uses the regularities detected by the learner to impose structure on the input. This structure enables the learner to detect higher level regularities. Using this bootstrapping procedure, the program was trained on 100 million words of Associated Press material and was able to achieve 60% precision and 50% recall in finding relations between content-words. Using knowledge of lexical attraction, the program can identify the correct relations in syntactically ambiguous sentences such as ``I saw the Statue of Liberty flying over New York.''

연구 동기 및 목표

• 인간이 언어를 어떻게 습득하는지 이해하고, 언어 이해 능력을 지닌 프로그램을 개발하는 것.
• 초기 문법이나 어휘 사전 없이 원시 텍스트에서 언어적 구조를 습득하는 시스템을 개발하는 것.
• 정보 이론을 사용하여 확률적 어휘 유인으로 언어 관계를 형식화하는 것.
• 어휘 관계의 명시적 표현이 부트스트랩 학습과 문법적 모호성 해소를 가능하게 한다는 것을 보여주는 것.
• 문장 구조 형식화가 국부 최대값에 갇히는 문제를 야기하는 한계를 극복하는 것.

제안 방법

• 어휘 유인은 두 단어 간 문법적 관계의 가능성으로 정의되며, 정보 이론 원리를 사용하여 형식화된다.
• 허용 가능한 트리 구조에 대해 균일한 분포를 사용하며, 구문 분석 확률보다는 단어 수준의 관계 학습에 초점을 맞춘다.
• 학습과 처리가 상호 교차된다: 프로세서는 탐지된 규칙성을 이용해 구조를 부여하고, 그 구조는 학습자가 고차원 패턴을 탐지할 수 있도록 한다.
• 조기 일반화를 피하여 초기 오류로 인한 역행을 방지함으로써 원시 텍스트에서 강건한 학습이 가능하다.
• 품사 분류 대신 단어 수준의 표현을 사용함으로써, 일반적이고 특수한 단어 사용 모두를 탐지할 수 있다.
• 프로세서로부터의 구조적 피드백을 사용하여 어휘 유인 추정치를 반복적으로 개선한다.

실험 결과

연구 질문

• RQ1 초기 문법이나 품사 태그 없이 원시 텍스트에서 언어 관계를 직접 학습할 수 있는가?
• RQ2 정보 이론을 사용하여 장거리 어휘 관계를 표현할 수 있는 어휘 유인은 어떻게 형식화할 수 있는가?
• RQ3 학습과 처리를 상호 교차시키는 방식이 부트스트랩 학습을 통해 문법적 구조를 습득하는 데 기여하는가?
• RQ4 이전의 비지도 구문 분석 방법은 왜 원시 텍스트에서 실패하는가? 표현 선택 방식은 이를 어떻게 완화할 수 있는가?
• RQ5 어휘 유인 지식만으로도 문법적 모호성을 해결할 수 있는가?

주요 결과

• 1억 5천만 단어의 원시 AP 텍스트를 학습한 후, 내용어 간 관계 식별에 대해 60% 정밀도와 50% 재현율을 달성했다.
• 이전의 비지도 파서와 달리, 이 모델은 원시 텍스트에서 측정 가능한 향상을 보였으며, 이전 연구에서 관찰된 정체 현상( stagnation )을 피했다.
• 품사 분류 대신 단어 수준의 표현을 사용함으로써 일반적이고 특수한 단어 사용 모두를 탐지할 수 있었다.
• 조기 일반화가 없었기 때문에 시스템이 되돌릴 수 없는 국부 최대값에 갇히지 않았다.
• 예를 들어 'I saw the Statue of Liberty flying over New York'와 같은 문장에서 어휘 유인 지식을 활용하여 문법적 모호성을 성공적으로 해소했다.
• 명시적인 어휘 관계 표현 방식이 학습을 단순화하고, 부트스트랩 학습을 가능하게 한다는 점이 이 프레임워크를 통해 입증되었다.