[論文レビュー] One Sense per Collocation and Genre/Topic Variations

David Martínez, Eneko Agirre|ArXiv.org|Oct 17, 2000

Natural Language Processing Techniques参考文献 5被引用数 5

ひとこと要約

この論文は、DSOコーパスにおけるWordNetの細分化された意味素を用いて、1語彙毎の意味仮説を検証し、70%の正確度で成立することが示された。これは2項の曖昧性に対して報告された99%と比べて顕著に低い。その理由はコーパス間でのジャンルおよびトピックのばらつきに起因する。本研究は、訓練データとテストデータのジャンル／トピックが一致しない場合、語の意味あいまいさ解消（WSD）の性能が低下することを示し、一方で関連するジャンルを共有するコーパス間では性能が向上することを示した。これにより、ジャンルとトピックがWSDモデリングにおいて極めて重要な要因であることが明らかになった。

ABSTRACT

This paper revisits the one sense per collocation hypothesis using fine-grained sense distinctions and two different corpora. We show that the hypothesis is weaker for fine-grained sense distinctions (70% vs. 99% reported earlier on 2-way ambiguities). We also show that one sense per collocation does hold across corpora, but that collocations vary from one corpus to the other, following genre and topic variations. This explains the low results when performing word sense disambiguation across corpora. In fact, we demonstrate that when two independent corpora share a related genre/topic, the word sense disambiguation results would be better. Future work on word sense disambiguation will have to take into account genre and topic as important parameters on their models.

研究の動機と目的

• WordNetの細分化された意味素に基づく意味の曖昧性解消仮説を検証すること。
• 特にジャンルおよびトピックの違いに起因する、異なるコーパス間での語句の整合性を評価すること。
• 訓練データとテストデータが異なるコーパスから取られる場合に、語の意味あいまいさ解消（WSD）性能が低下する理由を調査すること。
• ジャンルおよびトピックが語句の重なりとWSDの正確度に与える影響を評価すること。
• 今後のWSDシステムの設計において、ジャンルおよびトピックをモデル設計の基本的パrameterとして特定すること。

提案手法

• BrownコーパスおよびWall Street Journal（WSJ）からのWordNet意味タグを用いたDSOコーパス（191語の多義語を含む）を用いた。
• 語の意味あいまいさ解消のため、語の構文的パターン（例：主語語、修飾語、文構造フレーム）に基づく意思決定リストを構築した。
• コーパス間（Brown対WSJ）およびBrownコーパスのジャンルおよびトピック別サブカテゴリ間での性能を比較した。
• データ漏洩の影響を評価するため、文単位およびファイル単位のクロスバリデーションを適用した。
• 正確度とカバレッジ指標を用いて意思決定リストの性能を評価し、語句の一致度を比較する統計的指標を用いた。
• コーパス間およびサブカテゴリ間の語句の重なりを分析し、ジャンル／トピックに起因するばらつきを特定した。

実験結果

リサーチクエスチョン

• RQ1 2項の同音異義語の曖昧性とは対照的に、細分化された意味素に適用した場合、1語彙毎の意味仮説は成立するか？
• RQ2 ジャンルおよびトピックの違いに起因して、語句はどの程度コーパス間で異なるのか？
• RQ3 訓練データとテストデータが異なるコーパスから取られる場合、語の意味あいまいさ解消性能が低下する理由は何か？
• RQ4 コーパス間のジャンル／トピックの類似性が、語句の重なりとWSD性能に与える影響は何か？
• RQ5 ジャンルおよびトピックを、異なるコーパス間でのWSDシステムの性能向上に用いるパラメータとして利用できるか？

主な発見

• 細分化されたWordNet意味素に対して、1語彙毎の意味仮説は70%の正確度で成立するが、2項の曖昧性に対して報告された99%と比べて顕著に低い。
• ジャンルおよびトピックの違いに起因して、語句はコーパス間で顕著に異なるため、異なるコーパス間でのWSD性能が低くなる。
• 訓練データとテストデータが関連するジャンル／トピックを持つコーパス（例：WSJとpress:reportage）から取られる場合、WSDの正確度が顕著に向上する。
• Wall Street Journalコーパスは、訓練およびテストに使用した場合、全体で0.652の正確度を示し、Brownコーパスの0.572よりも高い。これはジャンル特有の語句パターンがあることを示している。
• 訓練データとテストデータが異なるコーパスから取られる場合、特にジャンル／トピックの不一致が生じると、性能はさらに低下し、WSJからBCへのクロスコーパスの正確度は全体で0.489にまで低下する。
• 本研究は、ジャンルおよびトピックがWSDにおいて以前に無視されていた重要な要因であると特定し、データ収集およびモデルの一般化に影響を与えるものである。