[논문 리뷰] Improving Statistical Language Model Performance with Automatically Generated Word Hierarchies

John McMahon, F.J. Smith|arXiv (Cornell University)|1995. 03. 09.

Natural Language Processing Techniques참고 문헌 50인용 수 61

한 줄 요약

이 논문은 단어 빈도 통계에서 계층적 어휘 클래스를 생성하기 위해 평균 클래스 상호정보량을 사용하는 바이너리 상향식 어휘 군집화 방법을 제안한다. 시스템은 계층적 클래스 소속을 인코딩하는 n비트 수치인 구조적 태그를 부여하여 가변 해상도 언어 모델링을 가능하게 하며, 이는 삼중어 모델에서 퍼플렉서티를 크게 감소시켜(438.6에서 386.5로) 어휘 기반 기준 모델 대비 향상된 성능을 보여준다.

ABSTRACT

An automatic word classification system has been designed which processes word unigram and bigram frequency statistics extracted from a corpus of natural language utterances. The system implements a binary top-down form of word clustering which employs an average class mutual information metric. Resulting classifications are hierarchical, allowing variable class granularity. Words are represented as structural tags --- unique $n$-bit numbers the most significant bit-patterns of which incorporate class information. Access to a structural tag immediately provides access to all classification levels for the corresponding word. The classification system has successfully revealed some of the structure of English, from the phonemic to the semantic level. The system has been compared --- directly and indirectly --- with other recent word classification systems. Class based interpolated language models have been constructed to exploit the extra information supplied by the classifications and some experiments have shown that the new models improve model performance.

연구 동기 및 목표

• n-gram 언어 모델이 문법적 및 의미적 맥락을 포착하는 데 한계가 있음을 해결하기 위해 어휘 클래스를 도입하기 위해.
• 원시 코퍼스 통계에서 언어적 구조를 드러내는 자동화되고 비지도 기반의 어휘 분류 체계를 개발하기 위해.
• 계층적 어휘 클래스 정보를 보간 기반 모델에 통합하여 통계적 언어 모델 성능을 향상시키기 위해.
• 서로 다른 맥락을 더 잘 구분할 수 있도록 상호정보량 군집화에서 유도된 구조적 태그가 모델 일반화 능력과 강건성에 기여하는지 평가하기 위해.

제안 방법

• 시스템은 평균 클래스 상호정보량에 기반한 바이너리 상향식 군집 알고리즘을 사용하여 어휘를 계층적 클래스로 그룹화한다.
• 어휘 클래스는 구조적 태그—클래스 소속 수준을 나타내는 가장 상위 비트를 포함한 고유한 n비트 수치—로 표현된다.
• 시스템은 코퍼스에서의 단어 빈도 통계(일반어 및 이중어 빈도)를 처리하여 군집화에 적합한 통계적으로 유사한 어휘 맥락을 식별한다.
• 구조적 태그를 사용한 보간을 통해 삼중어 언어 모델을 개선함으로써 가변 해상도의 맥락 모델링을 가능하게 한다.
• 시험 세트 퍼플렉서티를 주요 평가 지표로 사용하여 클래스 기반 모델과 표준 어휘 기반 모델을 비교한다.
• 수동 태깅과 복잡한 파rameter 튜닝을 피하고 정보 이론 기반 군집화와 구조적 태그 보간에 의존한다.

실험 결과

연구 질문

• RQ1 서로 다른 정보량 기반 자동 어휘 군집화가 영어에서 의미 있는 문법적 및 의미적 구조를 드러낼 수 있는가?
• RQ2 계층적 어휘 클래스를 언어 모델에 통합하면 표준 n-gram 모델 대비 퍼플렉서티가 감소하는가?
• RQ3 군집화에서 유도된 구조적 태그가 언어적으로 구분되는 맥락을 더 잘 식별하는가?
• RQ4 클래스 기반 보간 언어 모델의 성능은 어휘 기반 기준 모델과 비교해 어떻게 되는가?

주요 결과

• 자동 어휘 분류 체계는 코퍼스 데이터에서 음소 수준에서 의미 수준까지의 언어적 구조를 성공적으로 드러냈다.
• 클래스 기반 보간 언어 모델은 시험 세트 퍼플렉서티 386.5를 기록하여 기준 어휘 기반 삼중어 모델의 438.6보다 유의미한 향상을 이뤘다.
• 구조적 태그 모델은 문법적으로 올바른 문장(예: 'the boys eat the sandwiches')에 더 높은 확률을 할당하고, 문법적으로 잘못된 문장(예: 'the boys seat the sandwiches')에 낮은 확률을 할당하는 것으로 확인되었다.
• 모델은 '동사-관형사-명사' 대비 '전치사-관형사-명사' 패턴과 같은 의미적·문법적으로 구분되는 맥락을 잘 구분하는 데 성공했다.
• 최근의 다른 어휘 분류 방법보다 뛰어난 성능을 보였으며, 병합 기반 접근법과의 조합에서 상호 보완적인 강점과 약점을 보였다.
• 구조적 태그의 사용은 가변 해상도 모델링을 가능하게 하여 희귀하거나 미리 보지 못한 어휘 조합에 대해 더 잘 일반화하는 데 기여했다.