[論文レビュー] Separate Training for Conditional Random Fields Using Co-occurrence Rate Factorization

Zhemin Zhu, Djoerd Hiemstra+2 more|arXiv (Cornell University)|Aug 9, 2010

Topic Modeling参考文献 11被引用数 3

ひとこと要約

本稿では、共起率因子分解（CR-F）と呼ばれる新規手法を用いて、条件付き確率場（CRF）の分離学習を提案する。この手法は、完全なグラフィカルモデルを局所的で取り扱いやすい要因に分解し、独立して学習可能にする。このアプローチにより、ラベルバイアス問題が解消され、学習時間が週単位から数秒に短縮され、線形チェーンCRFにおいて標準的手法およびピecewise学習と同等の性能を達成する。

ABSTRACT

The standard training method of Conditional Random Fields (CRFs) is very slow for large-scale applications. As an alternative, piecewise training divides the full graph into pieces, trains them independently, and combines the learned weights at test time. In this paper, we present \emph{separate} training for undirected models based on the novel Co-occurrence Rate Factorization (CR-F). Separate training is a local training method. In contrast to MEMMs, separate training is unaffected by the label bias problem. Experiments show that separate training (i) is unaffected by the label bias problem; (ii) reduces the training time from weeks to seconds; and (iii) obtains competitive results to the standard and piecewise training on linear-chain CRFs.

研究の動機と目的

• 大規模応用において極めて遅い標準CRF学習の問題を解決すること。
• MEMMsのような判別モデルに内在するラベルバイアス問題を克服しつつ、スケーラブルな学習を可能にすること。
• グローバルな整合性を損なわず、局所的コンポONENTの独立学習を可能にする要因分解手法を開発すること。
• 共起率を用いた、未定義のグラフィカルモデルの要因分解の理論的裏付けと一般化可能なフレームワークを提供すること。

提案手法

• ポイントワイズ相互情報量（PMI）およびPMIの指数関数に基づく新規な要因分解技術、共起率因子分解（CR-F）を導入し、CR(X₁;…;Xₙ) = P(X₁,…,Xₙ)/(P(X₁)…P(Xₙ)) を定義する。
• CR-Fを用いて、マルコフ確率場（MRF）の結合確率を変数の部分集合における局所的要因に分解し、二項恒等式を用いて正確な要因分解を保証する。
• 最大クリークおよび分離子上でのCR-Fの適用により、グローバルな潜在変数を独立して学習可能な局所的潜在変数を構築する。
• グローバルな正規化定数の計算を回避するため、各要因を局所的尤度最大化により別々に学習する。
• テスト時に、独立して学習された局所的要因を組み合わせることでグローバルモデルを再構築し、要因分解構造により整合性を維持する。
• 要因計算時にグローバル固定構成を用いることで正確性を保証し、二項恒等式を用いて非クリーク項のキャンセルを証明する。

実験結果

リサーチクエスチョン

• RQ1 MEMMsのラベルバイアス問題を回避しつつ、CRFの局所的・分離学習を可能にする要因分解手法を設計できるか？
• RQ2 共起率因子分解（CR-F）は、取り扱いやすい局所的コンポONENTに未定義のグラフィカルモデルを理論的に裏付けられた正確な形で分解できるか？
• RQ3 CR-Fを用いた分離学習は、線形チェーンCRFにおいて標準的およびピースワイズ学習と同等の性能を達成できるか？
• RQ4 提案手法は、モデルの正確性を維持しつつ、学習時間を劇的に短縮できるか？

主な発見

• CR-Fを用いた分離学習は、MEMMsとは異なり、ラベルバイアス問題に影響されない。これは、非有向的かつグローバルに条件付けられた性質のおかげである。
• 学習時間は、標準CRFの週単位から、分離学習では数秒にまで短縮され、大規模POSタグギングタスクにおいて顕著な高速化が確認された。
• 線形チェーンCRFにおいて、分離学習は標準的およびピースワイズ学習と同等の性能を示した。POSタグギングおよびその他のNLPタスクで実証された。
• CR-Fフレームワークにより、MRFおよびジャンクションツリーのクリークにおける正確な要因分解が可能となり、二項恒等式を用いて非クリーク項のキャンセルが保証された。
• この手法は木構造グラフに一般化可能であり、ループを解除して条件付き変数を再導入することで、ループ付きグラフへも拡張可能である。
• 導出された局所的潜在変数は局所的に正規化され、独立して学習可能であり、拡張性と効率的な推論を可能にする。