[論文レビュー] Sense Tagging: Semantic Tagging with a Lexicon

Yorick Wilks, Mark Stevenson|ArXiv.org|May 29, 1997

Natural Language Processing Techniques参考文献 16被引用数 32

ひとこと要約

この論文では、Longman Dictionary of Contemporary English (LDOCE) を用いて品詞タギングと辞書定義の重複を組み合わせることで、語の意味を曖昧に解消する意味的タギングシステムを提案する。独立した言語的信号からなる意味選択をシミュレーテッドアニーリングで最適化することで、小さなテストセットにおいて語の意味の曇りを86%の正確さで解消し、単一の手法に比べて、単純でモジュラーな手法を組み合わせることで性能が向上することを示している。

ABSTRACT

Sense tagging, the automatic assignment of the appropriate sense from some lexicon to each of the words in a text, is a specialised instance of the general problem of semantic tagging by category or type. We discuss which recent word sense disambiguation algorithms are appropriate for sense tagging. It is our belief that sense tagging can be carried out effectively by combining several simple, independent, methods and we include the design of such a tagger. A prototype of this system has been implemented, correctly tagging 86% of polysemous word tokens in a small test set, providing evidence that our hypothesis is correct.

研究の動機と目的

• 定義済みの語彙に依存するが、広範な意味的カテゴリーではなく、実用的でスケーラブルな意味タギング手法の開発。
• 希少な手動アノテート済みコーパスや一時的な意味的区分に依存する既存の語の意味解消（WSD）手法の限界を克服すること。
• 品詞や辞書定義といった複数の独立した言語的情報源を統合することで、意味解消の正確さを向上させること。
• 単純で再利用可能なコンponentsを用いたモジュラーでハイブリッドなシステムが、単一手法のWSDアプローチを上回ることを実証すること。

提案手法

• システムは、語の意味と同音異義語の源として、機械可読形式のLongman Dictionary of Contemporary English (LDOCE) を使用する。
• テキストは、語幹抽出、ストップワード除去、文分割によって事前処理され、分析の対象となる内容語を抽出する。
• テキストにBrillタガーを適用し、その出力をLDOCEの品詞カテゴリにマッピングすることで、整合性のない語の意味をフィルタリングする。
• 各語の意味に対する辞書定義は、ストップワードの除去と語幹抽出を経て、意味的重複度の計算が可能になる。
• シミュレーテッドアニーリングアルゴリズムを用いて、周囲の文脈の定義との重複度が最大となる1つの意味を、各語トークンに対して選択する。
• システムは拡張可能であり、将来、複合語パターンや共起統計といった追加の独立した情報源の統合が可能である。

実験結果

リサーチクエスチョン

• RQ1 複雑で統合的なモデルに依存するのではなく、複数の独立的で単純な手法を組み合わせることで、意味タギングを効果的に達成できるか？
• RQ2 品詞情報と辞書定義の重複度の統合は、意味解消の正確さをどの程度向上させるか？
• RQ3 LDOCEのような事前に定義された語彙に基づくシステムは、小さなドメイン特化テストセットにおいて、教師ありまたは教師なしのWSD手法を上回るか？
• RQ4 最小限の学習で動作するモジュラーでルールベースのコンponentsは、純粋な統計的またはヒューリスティックなアプローチに比べて、どの程度性能を向上させるか？

主な発見

• Wall Street Journalから抽出した209語のテストセットにおいて、システムは同音異義語の正しい意味を86%の正確さで割り当てた。
• 意味レベルの解消正確さは57%に達し、同じテストセットで47%を達成したベースラインのシミュレーテッドアニーリング手法を上回った。
• 品詞フィルタリングと辞書定義の重複度の統合は、シミュレーテッドアニーリングを単独で用いる場合と比べて、意味解消性能を顕著に向上させた。
• 結果から、LDOCEのような語彙ベースの意味インベントリに、複数の独立した言語的信号を組み合わせることで、より信頼性が高く正確な意味タギングが可能になることが示唆された。
• 性能向上の要因は、LDOCEが提供する構造的かつドメインに anchored された意味的区分にあるとされ、一時的な意味クラスターよりもより明確な意味的カテゴリーを提供している。
• テストサイズが小さいにもかかわらず、結果はモジュラーで知識ベースのシステムが意味タギング問題を効果的に解決できることを支持する。