[論文レビュー] Learning Frames from Text with an Unsupervised Latent Variable Model

Brendan O’Connor|arXiv (Cornell University)|Jul 28, 2013

Natural Language Processing Techniques参考文献 42被引用数 8

ひとこと要約

本稿では、動詞-目的語-目的語の三項対を用いて、文書コーパスから意味的フレーム（出来事タイプとその参加者）を教師なしで発見する潜在変数モデルを提案する。ドキュメントレベルのスパarsityをフレーム分布にディリクレ事前分布を用いて拡張することで、人為的ラベルなしに一貫性があり、クロスカuttingな意味的フレームを学習する。従来の独立した三項対モデルやFrameNetと比較して、新規で解釈可能なフレームを発見する点で優れている。

ABSTRACT

We develop a probabilistic latent-variable model to discover semantic frames---types of events and their participants---from corpora. We present a Dirichlet-multinomial model in which frames are latent categories that explain the linking of verb-subject-object triples, given document-level sparsity. We analyze what the model learns, and compare it to FrameNet, noting it learns some novel and interesting frames. This document also contains a discussion of inference issues, including concentration parameter learning; and a small-scale error analysis of syntactic parsing accuracy.

研究の動機と目的

• 教師なしで、人為的フレームラベルなしに、生テキストコーパスから意味的フレーム（出来事の種類とその参加者）を発見する手法を開発すること。
• ドキュメントレベルの文脈とスパarsityを組み込んだ確率的潜在変数フレームワークを用いて、動詞-主語-目的語三項対の関連付けをモデル化すること。
• フレーム間で共有され、クロスカuttingな意味的語彙クラスを学習することで、一般化性能と解釈可能性を向上させること。
• 学習されたフレームをFrameNetと比較し、モデルの事後分布を代替語彙として用いて品質と新規性を評価すること。
• 推論の課題を調査する。具体的には、集中パラメータの学習と小規模な誤差解析における構文解析の正確性。

提案手法

• フレームを文書内の動詞-主語-目的語（VSO）三項対の生成を説明する潜在的カテゴリとして扱うディリクレ-多項分布モデルを用いる。
• ドキュメントレベルのディリクレ事前分布（α）をフレーム分布に適用し、スパarsityを強制することで、1ドキュメントあたり少数のフレームしか活性化されないという仮定をモデル化する。
• 各フレームごとに、動詞、主語、目的語の各項位置用に別々の語多項分布（φ）を学習し、これらは共有のディリクレ事前分布（β）から抽出される。
• 正確な尤度計算をディリクレ-多項分布PMFを用いて行う、畳み込みギブスサンプリングを用いて、フレームの割り当てとハイパーパrameterを推論する。
• 事後予測分布を用いて、観測データをもとに新しいVSO三項対の確率を計算し、フレーム予測と評価を可能にする。
• 対数ガンマ関数とディリクレ-多項分布パス確率を用いて、完全尤度を最大化することでハイパーパrameterを学習する。

実験結果

リサーチクエスチョン

• RQ1 確率的潜在変数モデルは、人為的ラベルなしに、生テキストから意味的フレームを意味のある形で発見できるか？
• RQ2 フレーム分布にドキュメントレベルのスパarsityを導入するディリクレ事前分布を組み込むことで、独立した三項対モデルと比較して、フレーム発見性能がどのように向上するか？
• RQ3 モデルが学習する新規または解釈可能なフレームは何か？また、FrameNetのものと比較してどうなるか？
• RQ4 異なる集中パラメータ（α）の設定において、モデルの性能はどのように変化するか？これにより、データの背後にある構造的特徴が何を示唆するか？
• RQ5 モデルの事後分布は、リソースが限られた環境や探索的分析の文脈において、フレーム意味論の代替語彙として十分に有効に機能するか？

主な発見

• ドキュメントレベルのスパarsityを導入したモデル（モデル1）は、独立した三項対モデル（モデル0）よりも有意に高い尤度を達成しており、ドキュメントレベルのフレームスパarsityがデータをよりよく説明していることが示された。
• 学習された集中パラメータαは一貫して低く、1ドキュメントあたり少数のフレームしか活性化されないという仮説が裏付けられ、スパarsity仮定の有効性が確認された。
• FrameNetに存在しない新規で解釈可能なフレームがモデルによって発見された。これは、探索的データ解析や新規ドメインへの適応において、本モデルの価値を示している。
• クロスカuttingな意味的語彙クラスがフレーム間で共有され、一貫性があり、一般化可能なフレーム表現が可能になった。
• 小規模な誤差解析から、構文解析の正確性がフレーム発見に影響を与えることが判明したが、中程度の解析ノイズに対してもモデルは頑健であった。
• 事後予測分布により、効果的なフレーム予測が可能となり、本モデルがFrameNetのデータ駆動型代替語彙として利用可能であることが裏付けられた。