[論文レビュー] Inducing Features of Random Fields

S. Della Pietra, V. Della Pietra+1 more|arXiv (Cornell University)|Jun 13, 1995

Neural Networks and Applications被引用数 63

ひとこと要約

この論文は、逐次的に潜在関数（特徴）を追加することで、より複雑な部分グラフ上で定義される特徴を誘導するための貪欲で反復的なアルゴリズムを提案する。重みは反復スケーリングを用いて、モデル分布と経験的データ分布とのKullback-Leibler発散を最小化するように最適化される。この手法により、高次元のパラメータを有する非マルコフ連合場が構築され、[a-z]、[a-z][a-z]、[0-9][0-9]、[a-z][A-Z]といった正規表現を含む特徴が誘導され、語彙形態論のモデリングにおいて成功を収めた。

ABSTRACT

We present a technique for constructing random fields from a set of training samples. The learning paradigm builds increasingly complex fields by allowing potential functions, or features, that are supported by increasingly large subgraphs. Each feature has a weight that is trained by minimizing the Kullback-Leibler divergence between the model and the empirical distribution of the training data. A greedy algorithm determines how features are incrementally added to the field and an iterative scaling algorithm is used to estimate the optimal values of the weights. The statistical modeling techniques introduced in this paper differ from those common to much of the natural language processing literature since there is no probabilistic finite state or push-down automaton on which the model is built. Our approach also differs from the techniques common to the computer vision literature in that the underlying random fields are non-Markovian and have a large number of parameters that must be estimated. Relations to other learning approaches including decision trees and Boltzmann machines are given. As a demonstration of the method, we describe its application to the problem of automatic word classification in natural language processing. Key words: random field, Kullback-Leibler divergence, iterative scaling, divergence geometry, maximum entropy, EM algorithm, statistical learning, clustering, word morphology, natural language processing

研究の動機と目的

• 訓練データから特徴を段階的に追加することで、より複雑な連合場を体系的に構築する手法の開発。
• 高次元で非マルコフ的な連合場モデルにおける情報量の多い特徴の選択とその重みの推定という課題への対処。
• マルコフ連合場を超えて一般化され、重複する・階層的な特徴をサポートする統計的モデリングの一般枠組みの提供。
• 原理的学習アプローチを用いて、自然言語処理タスク、特に語彙形態論における自動的特徴発見の実現。

提案手法

• アルゴリズムは、均一なベースモデルから出発し、次第に大きな部分グラフ上で定義される特徴を追加することで連合場を段階的に構築する。
• 各特徴は、トレーニング可能な重みを持つ潜在関数（例：文字クラスのインジケータ、n-gramパターン）である。
• 特徴の重みは、モデル分布と経験的データ分布とのKullback-Leibler発散を最小化するように反復スケーリングにより最適化される。
• 貪欲なアルゴリズムにより、発散の減少量が最大となる次なる特徴が選択され、段階的改善が保証される。
• 重複する特徴をサポートしており、意思決定木を越えてより豊富なモデリングを可能にする。
• フレームワークは条件付き指数モデルへ拡張可能であり、構造予測タスクへの応用を可能にする。

実験結果

リサーチクエスチョン

• RQ1 訓練データの経験的分布をよりよく近似するように、連合場をどのように段階的に構築できるか？
• RQ2 貪欲で反復的な特徴誘導プロセスにおいて、新たな特徴を選択する基準として何を用いるべきか？
• RQ3 経験的分布からの発散を最小化するために、特徴の重みをどのように効率的に推定できるか？
• RQ4 事前に特徴設計を行わずに、この手法が語彙形態論において意味のある言語的パターンをどの程度発見できるか？
• RQ5 決定木、ボルツマンマシン、または動的マルコフコーディングといった既存手法と比較して、このアプローチはどのように差をつけるか？

主な発見

• アルゴリズムは語彙形態論のための1,000個の特徴を成功裏に誘導し、それぞれの重みは約1.04および1.08であった。
• 特徴[a-z][a-z]の重みは1.08であり、英単語において隣接する小文字のペアが著しく高い確率で出現することを示している。
• 特徴[0-9][0-9]の重みは0.85であり、一様分布下での期待値よりも2桁の数字列が少ないことを示唆している。
• 最終モデルからのGibbsサンプリングにより、'was'、'there'、'to'、'will'、'proveral'といった英語に似た文字列が生成され、言語としての妥当性が確認された。
• 重複する高次の特徴を用いることで、非マルコフ的依存関係を捉えることができ、ベースラインモデルを上回った。
• フレームワークは条件付き指数モデルへ一般化可能であり、機械翻訳などのタスクへの応用が可能である。