[논문 리뷰] Distributional Part-of-Speech Tagging

Hinrich Schuetze|ArXiv.org|1995. 03. 08.

Natural Language Processing Techniques참고 문헌 17인용 수 53

한 줄 요약

이 논문은 단어 유형이 아닌 문맥 속 개별 단어 토큰을 분류하는 분포적 품사 태깅 방법을 제안한다. 좌우 문맥 벡터를 사용하고 특이값 분해(SVD)를 통해 차원을 감소시켜 유사도 측정을 향상시킨다. 브라운 코퍼스에서 평가한 결과, 모호성에도 불구하고 일반 품사에 대해 강건한 태깅 성능을 보이며, 레이블이 없는 텍스트에서 분포 패턴만으로도 완전 자동, 비지도 태깅이 가능하다는 것을 입증한다.

ABSTRACT

This paper presents an algorithm for tagging words whose part-of-speech properties are unknown. Unlike previous work, the algorithm categorizes word tokens in context instead of word types. The algorithm is evaluated on the Brown Corpus.

연구 동기 및 목표

• 기존 어휘 지식이나 수동 태깅된 학습 데이터에 의존하지 않는 비지도, 완전 자동 품사 태깅 방법을 개발하는 것.
• 단어 유형이 아닌 개별 단어 발생을 태깅하여 품사 모호성 문제를 해결하는 것.
• 레이블이 없는 코퍼스의 분포 패턴만으로도 문법 카테고리를 학습할 수 있는지 평가하는 것.
• 희귀어, 희귀 문법 구조, 국소적이지 않은 의존성과 같은 분포적 방법의 한계를 조사하는 것.
• 하드 분류가 표현할 수 없는 다중 카테고리 어휘 사용을 포괄할 수 있는 소프트 분류의 잠재력을 탐색하는 것.

제안 방법

• 논문은 코퍼스 내 각 단어 토큰의 즉각적인 좌우 이웃 단어를 기반으로 좌측 및 우측 문맥 벡터를 구성하며, 이 벡터의 차원으로는 상위 250개의 빈도 높은 단어를 사용한다.
• 공통 이웃을 기반으로 분포 유사도를 측정하기 위해 코사인 유사도를 사용하지만, 이는 희소성 문제를 완화하고 강건성을 높이기 위해 특이값 분해(SVD)를 통해 수정된다.
• SVD는 문맥 행렬의 차원을 감소시켜 낮은 차원의 표현을 생성하며, 이는 분포 유사도를 유지하면서도 희귀 공현의 노이즈를 걸러내는 데 기여한다.
• 개별 단어 토큰의 좌우 문맥 벡터를 통합하여 군집화하고, 이로써 문법 카테고리에 해당하는 분포 군집을 형성한다.
• 알고리즘은 각 단어 토큰을 그 군집 소속에 따라 단일 품사 카테고리에 할당함으로써 발생의 하드 분류를 가능하게 한다.
• 실패 케이스를 분석하기 위해 오류 분석을 수행하였으며, 이는 희귀어, 구분이 어려운 분포(예: VBN 대 PRD), 국소적이지 않은 의존성 등을 포함한다.

실험 결과

연구 질문

• RQ1 어휘 클래스나 수동 태깅된 학습 데이터가 전혀 없이도 품사 태깅을 수행할 수 있는가?
• RQ2 특정 문맥 속 단어 토큰을 태깅하는 것이 단어 유형을 태깅하는 것보다 더 나은 성능을 내는가, 특히 모호성을 다룰 때에?
• RQ3 희소 코퍼스에서 품사 유도를 위한 분포 유사도 측정에서 SVD가 얼마나 효과적인가?
• RQ4 분포적 태깅의 주요 실패 원인은 무엇인가, 특히 희귀어와 국소적이지 않은 문법적 의존성에 대해?
• RQ5 분포 군집이 의미적으로 유사하지만 문법적으로 다른 카테고리, 예를 들어 과거 participle(VBN)과 서술적 형용사(PRD)를 신뢰성 있게 구분할 수 있는가?

주요 결과

• 알고리즘은 태깅되지 않은 텍스트에서 분포 패턴만을 사용해 일반 단어에 대해 품사 카테고리를 성공적으로 유도하며, 완전 자동 태깅의 가능성을 입증한다.
• SVD는 특히 고빈도어에 대해 노이즈를 줄이고 희소성을 다루어 분포 유사도의 강건성을 크게 향상시킨다.
• 희귀어와 희귀 문법 구조에서는 분포 증거가 부족하여 성능이 떨어지며, 이는 'ties'의 두 가지 동사적 용례가 잘못 분류된 데서 나타난다.
• 로컬 분포가 구분이 어려운 단어들, 예를 들어 VBN과 PRD는 종종 같은 군집에 포함되며, 이는 로컬 문맥만으로는 모든 모호성을 해결할 수 없음을 시사한다.
• 비국소적 의존성만이 정보를 제공하는 경우 알고리즘이 실패한다. 예를 들어 'CURRENTLY'와 'IF'는 유사한 즉각적 이웃을 가지지만 다른 품사에 속한다.
• 한계가 있음에도 불구하고, 주어, 고유명사, 완전한 명사구와 같은 언어학적 카테고리와 일치하는 의미 있는 군집을 생성한다. 다만 일부 군집은 융합하기 위해 언어학적 판단이 필요하다.