[論文レビュー] Efficiently Inducing Features of Conditional Random Fields

Andrew McCallum|arXiv (Cornell University)|Oct 19, 2012

Topic Modeling参考文献 23被引用数 366

ひとこと要約

この論文は、Della Pietraらの手法を応用した条件付き尤度フレームワークに基づき、尤度を著しく向上させる特徴の積集合のみを自動で特定・含める特徴誘導手法を提案する。この手法により特徴数を10倍以上削減しつつ精度を向上させ、命名エンティティ認識などの系列モデリングタスクにおける高次のマルコフモデルの構築を可能にするとともに、手動による特徴工学の依存度を低減する。

ABSTRACT

Conditional Random Fields (CRFs) are undirected graphical models, a special case of which correspond to conditionally-trained finite state machines. A key advantage of these models is their great flexibility to include a wide array of overlapping, multi-granularity, non-independent features of the input. In face of this freedom, an important question that remains is, what features should be used? This paper presents a feature induction method for CRFs. Founded on the principle of constructing only those feature conjunctions that significantly increase log-likelihood, the approach is based on that of Della Pietra et al [1997], but altered to work with conditional rather than joint probabilities, and with additional modifications for providing tractability specifically for a sequence model. In comparison with traditional approaches, automated feature induction offers both improved accuracy and more than an order of magnitude reduction in feature count; it enables the use of richer, higher-order Markov models, and offers more freedom to liberally guess about which atomic features may be relevant to a task. The induction method applies to linear-chain CRFs, as well as to more arbitrary CRF structures, also known as Relational Markov Networks [Taskar & Koller, 2002]. We present experimental results on a named entity extraction task.

研究の動機と目的

• 特徴の組み合わせの数が爆発的に増加するため、CRFにおける関連する特徴の選択という課題に取り組むこと。
• モデル尤度を著しく向上させる特徴の積集合のみを自動で誘導する手法を開発すること。
• Della Pietraらの同時確率特徴誘導手法を、特にCRFに適応した条件付き確率モデルに拡張すること。
• 線形チェーンおよび関係的CRF構造に対応するようにアルゴリズムを修正し、系列モデルにおける計算の実行可能性を保証すること。
• 命名エンティティ抽出タスクにおいて、本手法の有効性を示し、性能向上と特徴空間の縮小を確認すること。

提案手法

• 本手法は、Della Pietraらのアプローチを基にしたが、同時モデルではなく条件付きモデルを対象として適応した条件付き尤度に基づく特徴誘導フレームワークを用いる。
• 訓練データの対数尤度に対する寄与度を評価することで、特徴の積集合を段階的に構築する。
• アルゴリズムは、条件付き対数尤度に統計的に有意な改善をもたらす組み合わせのみを追加する貪欲かつ反復的な手順を適用する。
• 元の同時確率手法をCRFの条件付き性に適合させるために修正し、線形チェーンおよび関係的CRF構造と整合性を保つ。
• 過学習を回避し、特徴探索中の計算効率を維持するための pruning メカニズムを含む。
• 自然言語処理タスクで一般的な重複する複数スケールの特徴をサポートできるように、大規模な特徴空間にもスケーラブルであるように設計されている。

実験結果

リサーチクエスチョン

• RQ1 尤度を著しく向上させる特徴の積集合のみを自動で選択するCRF用の特徴誘導手法を開発できるか？
• RQ2 精度と特徴空間のサイズの観点から、条件付き特徴誘導は従来の手動による特徴工学と比べてどのように異なるか？
• RQ3 線形チェーンCRFのような系列モデルにおいて、本手法は計算的に実行可能か？
• RQ4 特徴の複雑さを低減することで、高次のマルコフモデルの使用が可能になるか？
• RQ5 本手法は、命名エンティティ認識のような実世界のNLPタスクにおいて、どの程度性能を向上させるか？

主な発見

• 提案された特徴誘導手法は、従来のアプローチと比較して特徴数を10倍以上削減した。
• 特徴数の大幅な削減にもかかわらず、命名エンティティ抽出タスクにおいて、手動で特徴を設計したモデルよりも高い精度を達成した。
• 特徴空間の爆発的増加により従来は不可能とされていた、より豊富で高次のマルコフモデルの使用が可能になった。
• 特徴誘導プロセスは計算的に効率的かつスケーラブルであり、実世界の系列モデリング応用に実用的であった。
• 結果として、条件付き尤度に基づく自動特徴誘導が、NLPタスクにおけるCRFにおいて実効的かつ実用的であることが示された。
• 予測精度と特徴集合のコンパクトさの両面で、ベースラインモデルを上回る性能を発揮した。