[論文レビュー] A Simple Approach to Building Ensembles of Naive Bayesian Classifiers for Word Sense Disambiguation

Ted Pedersen|ArXiv.org|May 7, 2000

Natural Language Processing Techniques参考文献 16被引用数 133

ひとこと要約

この論文では、さまざまなサイズの左および右の文脈ウィンドウからの共起特徴を用いて、単純なナイーブベイズ分類器のアンサンブルを提案し、語の意味のあいまいさ解消（WSD）を改善する。異なるウィンドウサイズで学習された81個の分類器を組み合わせ、多数決をとることで、'line' で88%、'interest' で89%の精度を達成し、最小限の複雑さで最先端の結果と同等の性能を発揮した。

ABSTRACT

This paper presents a corpus-based approach to word sense disambiguation that builds an ensemble of Naive Bayesian classifiers, each of which is based on lexical features that represent co--occurring words in varying sized windows of context. Despite the simplicity of this approach, empirical results disambiguating the widely studied nouns line and interest show that such an ensemble achieves accuracy rivaling the best previously published results.

研究の動機と目的

• 共起特徴に基づく単純でスケーラブルなアンサンブル手法を用いて、語の意味のあいまいさ解消の精度を向上させること。
• 異なる文脈ウィンドウサイズを用いた複数のナイーブベイズ分類器を組み合わせることで、あいまいさ解消の性能が向上するかどうかを調査すること。
• 浅い語彙的特徴（共起）がWSDにおいてより複雑な言語的特徴を上回るかどうかを検証すること。
• 分類器の出力を結合する際、加重投票と多数決のどちらが効果的であるかを評価すること。
• ウィンドウサイズの多様性がアンサンブル性能に与える影響および誤りの補完性について探求すること。

提案手法

• アンサンブル内の各分類器は、左および右の文脈ウィンドウサイズ（0〜50語）の異なる組み合わせで学習され、合計81個の固有の分類器が得られる。
• 文脈的特徴は、指定されたウィンドウ内での語の共起を示すバイナリーヒントであり、ステミング、品詞タギング、大文字・句読点の処理は一切行われない。
• ナイーブベイズモデルは、特徴-意味のペアの頻度カウントを用いてクラス条件付き確率を推定し、ゼロ頻度事象に対してラプラススムージングを適用する。
• アンサンブルは、9つの慎重に選択された分類器（それぞれ異なるウィンドウサイズのカテゴリから選出）の予測を単純な多数決で統合する。
• 分類器の選択は、誤りの補完性を最大化し、冗長性を低減するために、ウィンドウサイズの多様性を優先する。
• 加重投票戦略も検証されたが、多数決よりも性能が低かった。

実験結果

リサーチクエスチョン

• RQ1 さまざまな文脈ウィンドウサイズで学習された単純なナイーブベイズ分類器のアンサンブルは、個々の分類器よりも語の意味のあいまいさ解消で優れた性能を発揮できるか？
• RQ2 語彙的ウィンドウからの共起特徴のみを用いることで、より複雑な言語的特徴と比較して競争力のある精度が得られるか？
• RQ3 WSDアンサンブルにおいて、加重投票と比較して多数決がより効果的か？
• RQ4 アンサンブルメンバー間のウィンドウサイズの多様性が、全体のあいまいさ解消精度に与える影響は何か？
• RQ5 最小限の特徴工学で、コーパスベースの単純なアプローチが、標準的なWSDベンチマークで最先端の性能を達成できるか？

主な発見

• アンサンブルは語 'line' で88%、'interest' で89%の精度を達成し、これまでに発表された最高の結果と同等の性能を発揮した。
• 異なるウィンドウサイズカテゴリから選ばれた9つの多様な分類器の多数決が、個々の分類器やより広範なアンサンブルを上回る性能を発揮した。
• 同程度のサイズのウィンドウ（例：中サイズ-中サイズ）を用いたアンサンブルは、個々の分類器とほとんど差がなく、冗長性が顕在化した。
• 全81個の分類器を含む完全なアンサンブルは、'interest' で81%の精度にとどまり、戦略的な分類器選択の重要性を示した。
• 加重投票は多数決よりも精度が低く（'interest' で83%）、この設定では単純な投票がより効果的であることが示された。
• 共起特徴そのものが高精度を達成するのに十分であり、品詞や語句の共起特徴を追加しても顕著な向上は得られなかった。