[論文レビュー] Exemplar-Based Word Sense Disambiguation: Some Recent Improvements

Hwee Tou Ng|ArXiv.org|Jun 10, 1997

Natural Language Processing Techniques参考文献 23被引用数 67

ひとこと要約

本稿では、10-fold交差検証を用いて最適な近傍数（$k$）を自動的に選択することで、例示ベースの意味あいまい性解消を改善している。この結果、精度が著しく向上し、以前報告された7つの最先端手法の中で最高性能を示したナイーブベイズ法と同等の性能を達成した。これは、適切にチューニングされた場合、例示ベースの学習が意味あいまい性解消において非常に有効であることを示している。

ABSTRACT

In this paper, we report recent improvements to the exemplar-based learning approach for word sense disambiguation that have achieved higher disambiguation accuracy. By using a larger value of $k$, the number of nearest neighbors to use for determining the class of a test example, and through 10-fold cross validation to automatically determine the best $k$, we have obtained improved disambiguation accuracy on a large sense-tagged corpus first used in \cite{ng96}. The accuracy achieved by our improved exemplar-based classifier is comparable to the accuracy on the same data set obtained by the Naive-Bayes algorithm, which was reported in \cite{mooney96} to have the highest disambiguation accuracy among seven state-of-the-art machine learning algorithms.

研究の動機と目的

• 近傍数（$k$）の最適化により、例示ベースの意味あいまい性解消の精度を向上させること。
• 例示ベースの学習が、同じコーパス上で以前報告された最高性能を示したナイーブベイズ法と同等またはそれを上回る性能を達成できるかどうかを評価すること。
• $k$ が分類器の性能に与える影響、特に $k=1$ の場合に性能が劣化するケースについての調査。
• 交差検証による自動ハイパーパramータ選択が、例示ベースの学習におけるWSDの性能を著しく向上させられることを示すこと。

提案手法

• 距離を特徴値のクラス条件付き確率に基づく値の差異度量で計算する例示ベースの学習アルゴリズムPeblsが使用された。
• 2つの例の間の距離は、各特徴の距離の和として計算され、各特徴の距離はクラス条件付き確率の絶対差の和である。
• 最小距離に基づき$k$個の近傍が選択され、それらの多数派クラスがテスト例に割り当てられる。
• 訓練データセットに対して10-fold交差検証手順を適用し、誤差率を最小化する最適な$k$値を自動的に特定した。
• 最適化されたPebls分類器の性能を、NgとLee（1996）が提供した大規模な意味タグ付きコーパス上でナイーブベイズ法と比較した。
• 特徴の削除を回避することで、有用なコロケーション特徴を保持した。過去の研究で特徴の削除が精度を低下させることが判明したため。

実験結果

リサーチクエスチョン

• RQ1 例示ベース分類器における近傍数（$k$）を増やすことで、意味あいまい性解消の精度が向上するか？
• RQ2 固定された$k$値（例：$k=1$）と比較して、$k$選択に10-fold交差検証を用いることで性能が向上するか？
• RQ3 例示ベースのアプローチが、以前同じデータセットで最高性能を示したナイーブベイズ法と同等の精度を達成できるか？
• RQ4 例示ベース手法が最も頻度の高いクラスベースラインを上回れない場合、なぜより大きな$k$値を必要とするのか？
• RQ5 Peblsで用いられる距離度量は、他の最近傍法WSDシステムで用いられるハミング距離と比較してどう異なるか？

主な発見

• 例示ベース分類器Peblsで$k=20$を用いることで、同じコーパス上でナイーブベイズ法と同等の意味あいまい性解消精度が達成された。
• 10-fold交差検証による$k$選択は、ナイーブベイズ法をわずかに上回る性能を示し、自動ハイパーパramータチューニングが例示ベース学習の性能を向上させることを示している。
• 191語のうち13語では、交差検証で得られた最良の$k$値が85以上であった。これは、分類器がベースラインを上回れない場合、多数クラスに近い挙動をとる傾向にあることを示している。
• Peblsで$k=1$を用いた場合の性能はナイーブベイズ法に比べて著しく劣るが、$k$を20に増やすことで性能の差は顕著に縮まった。
• 本研究では、先行研究で用いられた特徴の削除が、精度を向上させる有用なコロケーション特徴を除去するため、悪影響を及ぼす可能性があることが示された。
• 結果として、適切にチューニングされた場合、例示ベース学習は意味あいまい性解消において実用的かつ競争力のあるアプローチであることが確認された。特に、交差検証による$k$選択が有効である。