[論文レビュー] Sequential Model Selection for Word Sense Disambiguation

Ted Pedersen, Rebecca Bruce+1 more|ArXiv.org|Feb 12, 1997

Natural Language Processing Techniques参考文献 15被引用数 26

ひとこと要約

本稿では、語の意味解釈のための逐次的モデル選択を、分解可能グラフィカルモデルを用いて提案する。探索戦略（BSS、FSS）と評価基準（AIC、BIC、正確な条件付き検定）を評価し、最適な確率的モデルを同定する。AICにフォワードステップワイズ探索を組み合わせた手法が、スパースなNLPデータにおけるモデルの複雑さとパラメータの信頼性のバランスに優れるため、BIC や有意性検定を上回る高い精度を達成する。

ABSTRACT

Statistical models of word-sense disambiguation are often based on a small number of contextual features or on a model that is assumed to characterize the interactions among a set of features. Model selection is presented as an alternative to these approaches, where a sequential search of possible models is conducted in order to find the model that best characterizes the interactions among features. This paper expands existing model selection methodology and presents the first comparative study of model selection search strategies and evaluation criteria when applied to the problem of building probabilistic classifiers for word-sense disambiguation.

研究の動機と目的

• 訓練データがスパースで偏っている状況下で、信頼性の高い確率的モデルを選択する課題に対処すること。
• バックワード、フォワード、ステップワイズの各探索戦略が、分解可能モデルの空間を効果的に探索できるかを評価すること。
• AIC、BIC、正確な条件付き検定といったモデル評価基準を比較し、訓練データに最も適合し、一般化性能の高いモデルを選択すること。
• 語の意味解釈において、正確で頑健な分類器を構築するための、探索戦略と評価基準の最適な組み合わせを特定すること。

提案手法

• マージナル分布を介した閉形式のパラメータ推定が可能であり、反復的フィッティング手順を回避できる分解可能グラフィカルモデルを用いる。
• モデルの適合度に基づいて特徴量の相互作用を系統的に削除または追加するバックワードステップワイズ選択（BSS）およびフォワードステップワイズ選択（FSS）を適用する。
• 情報基準（AIC、BIC）と正確な条件付き検定を用いて、モデルの適合度を評価し、モデル選択を支援する。
• 訓練データにおける特徴量ベクトルの周辺度数から最尤推定値（MLEs）を用いて、モデルのパラメータを推定する。
• 12の意味がタグ付けされた語を対象に、精度と再現率を用いてモデルの性能を測定する。
• すべての手法を、モデル選択と評価を目的とした公開ツール CoCo に実装する。

実験結果

リサーチクエスチョン

• RQ1 バックワードステップワイズ、フォワードステップワイズ、フルサーチのどのモデル選択戦略が、語の意味解釈において最も正確なモデルを生成するか？
• RQ2 AIC、BIC、正確な条件付き検定といった異なる評価基準は、未知のデータへの一般化性能を高めるモデル選択において、どのように比較されるか？
• RQ3 探索戦略の選択が、語の意味解釈における選択モデルの性能に顕著に影響を与えるか？
• RQ4 パラメータ数によって制御されるモデルの複雑さは、スパースなNLPデータにおける精度と信頼性にどのように影響を与えるか？

主な発見

• AICにフォワードステップワイズ探索（FSS）を組み合わせた手法が、精度と再現率の両面で、BIC や有意性検定を上回り、一貫して最も正確なモデルを生成した。
• BICは相互作用をあまりに多く削除する傾向にあり、AICで選択されるモデルよりも単純すぎて、精度が低かった。
• 正確な条件付き検定は不安定であった。バックワード選択では相互作用をあまりに少なく削除し、フォワード選択ではあまりに多くを追加し、結果として性能が悪化した。
• FSSにAICを組み合わせることで、自由度の高い相互作用の影響が軽減され、スパースなデータにおけるパラメータ推定の信頼性が向上し、モデル性能が向上した。
• 本研究では、AICとFSSによるモデル選択が、任意のアルファカットオフを必要とする有意性検定よりも、パrameterチューニングに対して頑健で、感受性が低いことが確認された。
• ナイーブベイズは精度が高かったが、関係のない特徴量を除外できないのに対し、逐次的モデル選択はこうした特徴量を効果的に排除でき、モデルの効率性を向上させた。