[論文レビュー] Distributional Part-of-Speech Tagging

Hinrich Schuetze|ArXiv.org|Mar 8, 1995

Natural Language Processing Techniques参考文献 17被引用数 53

ひとこと要約

本稿では、語の品詞を事前に定義された語型ではなく、文脈における個々の語トークンとして分類する分布的品詞素性付け手法を提案する。左隣りと右隣りの文脈ベクトルを用い、特異値分解（SVD）により次元削減を行い、類似度測定を向上させる。ブラウンコーパス上で評価した結果、曖昧さが存在するにもかかわらず、一般的な品詞に対しては頑健な素性付けが達成された。これは、アノテーションなしテキストからの分布的パターンのみを用いて、完全に自動的かつ教師なしの素性付けが可能であることを示している。

ABSTRACT

This paper presents an algorithm for tagging words whose part-of-speech properties are unknown. Unlike previous work, the algorithm categorizes word tokens in context instead of word types. The algorithm is evaluated on the Brown Corpus.

研究の動機と目的

• 事前に用意された語彙的知識や手動でアノテートされた学習データに依存しない、完全に自動的かつ教師なしの品詞素性付け手法を開発すること。
• 語型ではなく個々の語出現を対象とすることで、品詞の曖昧性という広範な問題に取り組むこと。
• アノテーションなしコーパス内の分布的パターンからのみ、句構造的カテゴリを学習する可能性を評価すること。
• 希少語や希少構文、非局所的依存関係の処理における分布的手法の限界を調査すること。
• ハード分類では表現できない多様な語の用法を捉えるために、ソフト分類の可能性を検討すること。

提案手法

• 本手法は、コーパス内の語トークンの直近の左隣りと右隣りの語に基づき、左文脈ベクトルと右文脈ベクトルを構築する。ベクトルの次元には、頻度上位250語を用いる。
• 語同士の分布的類似度は、共通の近傍語を基にコサイン類似度で測定されるが、スパarsityを軽減し、頑健性を向上させるために特異値分解（SVD）を適用して修正される。
• SVDにより文脈行列の次元が削減され、低次元表現が得られる。これにより、分布的類似度を保持するとともに、希少な共起からのノイズをフィルタリングする。
• 語トークンの左・右文脈ベクトルを統合し、その組み合わせに基づいてクラスタリングを行う。これにより、文法的カテゴリに対応する分布的クラスタが形成される。
• アルゴリズムは、語トークンのクラスタメンバーシップに基づき、1つの品詞カテゴリに割り当てる。これにより、出現単位のハード分類が可能になる。
• 誤り分析により、失敗事例（希少語、識別不能な分布（例：VBN vs. PRD）、非局所的依存関係）を特定する。

実験結果

リサーチクエスチョン

• RQ1 語の品詞素性付けは、語類の事前知識や手動アノテート学習データが一切不要であるか？
• RQ2 語型ではなく語トークンを文脈で分類することで、曖昧性の処理においてより優れた結果が得られるか？
• RQ3 SVDは、スパースコーパスにおける品詞誘導のための分布的類似度測定をどの程度向上させるか？
• RQ4 分布的素性付けの主な失敗モードは何か。特に希少語や非局所的文法的依存関係においては？
• RQ5 分布的クラスタリングは、意味的に類似しているが文法的に異なるカテゴリ（例：過去分詞形（VBN）と predicative 形容詞（PRD））を信頼性高く区別できるか？

主な発見

• アルゴリズムは、アノテーションなしテキストからの分布的パターンのみを用いて、一般的な語の品詞カテゴリを効果的に誘導した。これは、完全に自動的素性付けの可能性を示している。
• SVDは、ノイズを低減し、スパース性を処理することで、分布的類似度の頑健性を顕著に向上させた。特に高頻度語において顕著であった。
• 希少語や希少な文法構造では、分布的証拠が不足するため、性能が著しく低下した。例として、「ties」の2つの動詞的用法が誤分類された。
• 局所的分布が識別不能な語（例：VBN と PRD）は、しばしば同じクラスタにグループ化される。これは、局所的文脈のみではすべての曖昧性を解消できないことを示している。
• 非局所的依存関係のみが情報的である場合には、アルゴリズムは失敗する。例として、「CURRENTLY」と「IF」は直近の近傍語が類似しているが、品詞は異なる。
• 限界は存在するが、主語、固有名詞、完全な名詞句といった言語的カテゴリと整合する意味のあるクラスタを生成した。ただし、一部のクラスタは統合のために言語的判断を要する。