[論文レビュー] Learning with Scope, with Application to Information Extraction and Classification

David M. Blei, J. Andrew Bagnell+1 more|arXiv (Cornell University)|Dec 12, 2012

Gaussian Processes and Bayesian Inference参考文献 5被引用数 6

ひとこと要約

本稿では、グローバル特徴（例：語彙内容）とスコープ制限付きのローカル特徴（例：Webページ内の語のフォーマット）の両方を統合的に学習する階層的確率的モデルを提案する。ローカルな規則性は、データサブセットごとに推定される未観測の確率的パラメータによってモデル化される。推論時にローカルパターンに適応することで、グローバル特徴のみを用いるモデルに比べ、分類および情報抽出の性能が著しく向上する。

ABSTRACT

In probabilistic approaches to classification and information extraction, one typically builds a statistical model of words under the assumption that future data will exhibit the same regularities as the training data. In many data sets, however, there are scope-limited features whose predictive power is only applicable to a certain subset of the data. For example, in information extraction from web pages, word formatting may be indicative of extraction category in different ways on different web pages. The difficulty with using such features is capturing and exploiting the new regularities encountered in previously unseen data. In this paper, we propose a hierarchical probabilistic model that uses both local/scope-limited features, such as word formatting, and global features, such as word content. The local regularities are modeled as an unobserved random parameter which is drawn once for each local data set. This random parameter is estimated during the inference process and then used to perform classification with both the local and global features--- a procedure which is akin to automatically retuning the classifier to the local regularities on each newly encountered web page. Exact inference is intractable and we present approximations via point estimates and variational methods. Empirical results on large collections of web data demonstrate that this method significantly improves performance from traditional models of global features alone.

研究の動機と目的

• Webページのような特定のデータサブセット内でのみ予測力を持つ、フォーマットやレイアウトのパターンといったスコープ制限付き特徴を効果的に活用する課題に対処すること。
• 推論中にデータサブセットごとに推定される未観測の確率的パラメータとして、ローカルな規則性をモデル化すること。
• 統一された確率的枠組み内でローカル特徴とグローバル特徴を組み合わせることで、分類および情報抽出の性能を向上させること。
• 新しいデータ分布に適応するため、推論時にローカルパターンに即座に再調整できるように、分類器を自動的に再調整可能にする。

提案手法

• 各ローカルデータセット（例：Webページ）が、スコープ制限付き特徴を制御する未観測の確率的パラメータを有する階層的構造を導入する。
• ローカル特徴（例：太字、フォントサイズ）は、このインスタンスごとのパラメータに条件付けられてモデル化され、データ固有の規則性を捉える。
• グローバル特徴（例：語彙内容）は独立してモデル化され、すべてのデータサブセットに共有される。
• 正確な推論が計算不能であるため、スケーラブルな学習を可能にするために、点推定と変分近似が用いられる。
• トレーニング中にローカルパラメータの分布を学習し、予測時にそれを適用することで、新しいデータのローカルパターンに適応する。
• フレームワークにより、インスタンスごとにローカル規則性を推定・適用することで、分類器の自動的再調整が可能になる。

実験結果

リサーチクエスチョン

• RQ1 確率的モデルは、データサブセットごとに異なるスコープ制限付きの特徴（例：Webページ内のフォーマットパターン）を効果的に学習できるか？
• RQ2 Webページ内のフォーマットパターンのようなローカル規則性は、未観測データに対してもどのようにモデル化され、適応可能になるか？
• RQ3 階層的構造を用いてローカル特徴とグローバル特徴を統合することで、グローバル特徴のみのモデルに比べ、分類および情報抽出の性能が向上するか？
• RQ4 変分法などの近似推論技術は、著しい計算コストを伴わずにローカルパラメータを学習するために効果的に適用可能か？

主な発見

• グローバル特徴に依存するモデルに比べ、本モデルは大規模なWebデータコレクションにおいて顕著な性能向上を達成した。
• スコープ制限付き特徴の統合により、分類および情報抽出の精度に測定可能な向上が見られた。
• データサブセットごとの未観測確率的パラメータの使用により、推論時にローカルデータパターンへの効果的な適応が可能になった。
• 変分法による近似推論と点推定が組み合わされ、実用的なスケーラビリティを維持しながら高い性能を達成した。
• 実験的結果から、ローカル規則性を潜在パラメータとしてモデル化することで、異なるローカルパターンを持つ新しいデータへの一般化性能が向上することが示された。
• 本手法は、データ固有のフォーマットや構造的ヒントを効果的に捉え・活用できるため、従来のグローバル特徴のみのモデルを上回った。