[논문 리뷰] Unsupervised Language Acquisition

Carl G. de Marcken|ArXiv.org|1996. 11. 12.

Algorithms and Data Compression참고 문헌 114인용 수 129

한 줄 요약

이 논문은 무 supervision 언어 습득을 위한 계산 이론을 제시하며, 언어 학습을 확률적, 생성적 문법에 대한 통계적 추론으로 모델링한다. 구성적 언어 매개변수 표현과 내용 기반 학습 알고리즘을 사용함으로써 문법의 내용과 표현 방식을 분리함으로써, 분할되지 않은 말과 텍스트에서 어휘, 확률적 문법, 의미 맵핑을 높은 정확도로 학습할 수 있으며, 최소한의 supervision으로 인간의 애너테이션된 언어적 구조와 유사한 성능을 달성한다.

ABSTRACT

This thesis presents a computational theory of unsupervised language acquisition, precisely defining procedures for learning language from ordinary spoken or written utterances, with no explicit help from a teacher. The theory is based heavily on concepts borrowed from machine learning and statistical estimation. In particular, learning takes place by fitting a stochastic, generative model of language to the evidence. Much of the thesis is devoted to explaining conditions that must hold for this general learning strategy to arrive at linguistically desirable grammars. The thesis introduces a variety of technical innovations, among them a common representation for evidence and grammars, and a learning strategy that separates the ``content'' of linguistic parameters from their representation. Algorithms based on it suffer from few of the search problems that have plagued other computational approaches to language acquisition. The theory has been tested on problems of learning vocabularies and grammars from unsegmented text and continuous speech, and mappings between sound and representations of meaning. It performs extremely well on various objective criteria, acquiring knowledge that causes it to assign almost exactly the same structure to utterances as humans do. This work has application to data compression, language modeling, speech recognition, machine translation, information retrieval, and other tasks that rely on either structural or stochastic descriptions of language.

연구 동기 및 목표

• 분할되지 않은, 애너테이션되지 않은 입력에서 명시적 피드백 없이 어린이가 어떻게 언어를 습득하는지를 원칙적이고 무 supervision 계산 모델로 개발하기 위해.
• 학습 환경에 대한 가정을 최소화하며, 특히 의미 지식이나 레이블이 붙은 데이터에 의존하지 않기 위해.
• 관찰된 언어적 증거에 기반하여 확률적, 생성적 모델을 피팅함으로써 문법적 구조를 추론하는 학습 메커니즘을 설계하기 위해.
• 통계적 규칙성만을 사용하여 연속된 말과 텍스트에서 어휘, 문법, 의미 표현을 학습할 수 있도록 하기 위해.
• 기술표기 길이 기반의 학습 기준을 통해 언어학적으로 타당한 구조와 통계적 최적성 사이의 균형을 이루는 프레임워크를 만들기 위해.

제안 방법

• 문장과 문법 매개변수 모두가 더 단순한 요소들을 조합하여 구성되는 구성적 표현을 사용하여, 다중 척도의 패턴을 포착할 수 있도록 한다.
• 관찰된 입력가 통계적으로 일반적인 문법이 되는 조건에서 작동하는 확률적, 생성적 언어 모델을 사용한다.
• 문법 매개변수의 명시적 표현이 아닌 그 '내용'을 조작하는 학습 전략을 도입함으로써, 탐색 공간에서 국소 최적해에 갇히는 문제를 피한다.
• 최소 기술 길이(MDL) 원리를 적용하여 모델 복잡도와 데이터에 대한 적합도 사이의 균형을 맞추며, 입력을 잘 압축하는 문법을 선호한다.
• meaning 표현에 대한 편경 연산자를 적용하여 언어적 구조를 탐색함으로써, 구성적 및 비구성적 패턴을 모두 학습할 수 있도록 한다.
• 입력 데이터를 여러 번 순환하면서 통계적 우도와 기술 길이를 기반으로 문법 매개변수를 최적화하는 알고리즘을 구현한다.

실험 결과

연구 질문

• RQ1 무 supervision 조건에서 분할되지 않은, 애너테이션되지 않은 말이나 텍스트에서 학습자가 문법적 구조를 어떻게 습득할 수 있는가?
• RQ2 통계적 학습 절차가 언어학적으로 타당한 문법에 수렴하기 위해 충족되어야 할 조건은 무엇인가?
• RQ3 입력 빈도와 분포 패턴만을 사용하여 청각, 어휘, 문법적 규칙성을 모두 포괄하는 문법을 학습할 수 있는가?
• RQ4 언어 매개변수의 표현 방식은 어떤 식으로 다중 언어 척도에서의 효율적 학습과 일반화를 지원할 수 있는가?
• RQ5 무 supervision 학습을 통해 교차 언어적 또는 병렬 텍스트 데이터에서 의미 표현을 어느 정도까지 유추할 수 있는가?

주요 결과

• 모델은 분할되지 않은 텍스트에서 어휘와 확률적 문법을 성공적으로 학습하였으며, 객관적 기준에서 인간 애너테이션된 언어적 구조에 근접한 성능을 보였다.
• 명시적 의미 지식 없이도 소리와 의미 표현 간의 맵핑을 매우 높은 정확도로 수행하는 학습 알고리즘이 성공하였다.
• 구성적 매개변수 표현은 동시에 다양한 수준의 언어적 추상화 패턴을 포착할 수 있도록 하였다.
• 내용 기반 학습 전략은 문법 유도 과정에서 발생하는 일반적인 탐색 문제를 문법의 내용과 그 문법적 형태를 분리함으로써 피할 수 있었다.
• 지속적인 음성 신호로부터의 학습을 지원하였으며, 초기 결과는 실용적인 음성 인식기 어휘 습득 가능성에 대해 유망한 시사점을 제공하였다.
• 모델은 입력 노이즈와 부족한 매개변수 정보에 대해 강건성을 보였으며, 현실 조건에서의 무 supervision 습득 가능성을 뒷받침하였다.