[논문 리뷰] Unsupervised Language Acquisition: Theory and Practice

Alexander Clark|ArXiv.org|2002. 12. 10.

Natural Language Processing Techniques참고 문헌 279인용 수 79

한 줄 요약

이 논문은 분포적 및 통계 모델을 사용하여 태그가 없는 텍스트와 태그가 있는 텍스트에서 문법적 범주, 형태적 과정, 문맥 자유 문법을 학습하는 새로운 비지도 알고리즘을 제시한다. 이는 천재적 언어 지식이 없이도 자연어의 구조가 경험적으로 학습될 수 있음을 보여주며, 언어 습득의 경험주의 모델을 지지하는 바이며, 자료 부족의 근거에 도전한다.

ABSTRACT

In this thesis I present various algorithms for the unsupervised machine learning of aspects of natural languages using a variety of statistical models. The scientific object of the work is to examine the validity of the so-called Argument from the Poverty of the Stimulus advanced in favour of the proposition that humans have language-specific innate knowledge. I start by examining an a priori argument based on Gold's theorem, that purports to prove that natural languages cannot be learned, and some formal issues related to the choice of statistical grammars rather than symbolic grammars. I present three novel algorithms for learning various parts of natural languages: first, an algorithm for the induction of syntactic categories from unlabelled text using distributional information, that can deal with ambiguous and rare words; secondly, a set of algorithms for learning morphological processes in a variety of languages, including languages such as Arabic with non-concatenative morphology; thirdly an algorithm for the unsupervised induction of a context-free grammar from tagged text. I carefully examine the interaction between the various components, and show how these algorithms can form the basis for a empiricist model of language acquisition. I therefore conclude that the Argument from the Poverty of the Stimulus is unsupported by the evidence.

연구 동기 및 목표

• 자연어가 천재적 언어 지식 없이 학습될 수 있는지 조사하여 자료 부족의 근거에 도전한다.
• 원시 텍스트에서 문법적 범주, 형태, 문맥 자유 문법을 학습하는 실용적인 비지도 알고리즘을 개발한다.
• 통계적 및 분포적 학습 기법을 사용하여 경험주의적 언어 습득 모델의 실현 가능성을 검토한다.
• 형식 언어 이론이 제기한 학습 장벽을 극복할 수 있음을 보여줌으로써 골드의 정리에서 발생하는 이론적 한계를 해결한다.
• 비지도 환경에서 분포적 정보를 활용하여 모호하고 드문 단어를 신뢰성 있게 분류할 수 있음을 보여준다.

제안 방법

• 태그가 없는 텍스트에서의 분포적 정보를 활용하여 문법적 범주를 유도하며, 공현 패턴을 통해 모호성과 드문 단어를 다룬다.
• 통계 모델을 적용하여 단어 형태에서 패턴을 발견함으로써, 아랍어와 같은 언어의 비접속형 형태학적 과정(비연결형 형태학)을 학습한다.
• 태그가 있는 텍스트에서 문맥 자유 문법을 비지도로 유도하는 새로운 알고리즘을 활용하며, 품사 및 구조적 정보를 활용한다.
• 다양한 학습 구성 요소를 통합하여 유기적인 프레임워크를 구성하고, 그 상호작용을 분석하여 강력한 언어 습득을 달성한다.
• 형식 언어 학습에서 골드의 정리가 제기하는 제약를 피하기 위해 기호 문법 대신 통계 문법을 사용한다.
• 분포적 유사성과 군집화를 활용하여 사전 태깅 없이 단어를 문법적 범주로 그룹화한다.

실험 결과

연구 질문

• RQ1 분포적 패턴만으로 태그가 없는 텍스트에서 문법적 범주를 신뢰성 있게 유도할 수 있는가?
• RQ2 비접속형 형태학을 포함한 형태적 과정이 원시 단어 형태에서 비지도로 학습될 수 있는가?
• RQ3 명시적인 문법적 감독 없이 태그가 있는 텍스트에서 문맥 자유 문법을 유도할 수 있는가?
• RQ4 이 알고리즘의 성공은 자료 부족의 근거를 뒤엎는가?
• RQ5 통계 학습 방법을 사용하여 완전히 비지도이고 경험주의적인 언어 습득 모델을 구성할 수 있는가?

주요 결과

• 제안된 알고리즘은 태그가 없는 텍스트에서 분포적 군집화를 통해 모호하고 드문 단어를 효과적으로 다루며, 문법적 범주를 성공적으로 유도한다.
• 통계 모델은 사전 언어학적 태깅 없이도 원시 단어 형태에서 아랍어의 복잡한 비접속형 형태학적 과정을 학습할 수 있다.
• 태그가 있는 텍스트에서 비지도 문맥 자유 문법 유도 알고리즘을 구현하여, 명시적인 문법적 감독 없이도 구조적 패턴을 회복할 수 있음을 보여준다.
• 문법, 형태학, 문법적 학습 구성 요소의 통합은 일관되고 경험주의적인 언어 습득 모델을 지지한다.
• 결과적으로 천재적 언어 지식의 필요성을 의심하게 하며, 자료 부족의 근거가 경험적 및 이론적으로 타당하지 않음을 시사한다.
• 골드의 정리는 통계 문법을 사용할 경우 자연어 학습을 금지하지 않는다.