[論文レビュー] Learning Language from a Large (Unannotated) Corpus

Linas Vepštas, Ben Goertzel|arXiv (Cornell University)|Jan 14, 2014

Natural Language Processing Techniques参考文献 23被引用数 6

ひとこと要約

本論文は、大規模なアノテーションなしテキストコーパスから従来の依存文法と構文から意味へのマッピングを自動的に誘導する、画期的な教師なし学習フレームワークを提案する。繰り返し語の共起相関を特定し、エントロピーに基づく基準を用いて意味的に類似した語をクラスタリングし、段階的な構文的および意味的グラフを次第に構築することで、人為的アノテーションデータに依存せずにエンドツーエンドの言語習得を可能にする。主な貢献は、構文的および意味的層の相互強化によって、ブートストラップされた文法および意味学習を実現することにある。

ABSTRACT

A novel approach to the fully automated, unsupervised extraction of dependency grammars and associated syntax-to-semantic-relationship mappings from large text corpora is described. The suggested approach builds on the authors' prior work with the Link Grammar, RelEx and OpenCog systems, as well as on a number of prior papers and approaches from the statistical language learning literature. If successful, this approach would enable the mining of all the information needed to power a natural language comprehension and generation system, directly from a large, unannotated corpus.

研究の動機と目的

• 大規模なアノテーションなしテキストコーパスから依存文法と構文から意味へのマッピングを完全に教師なしで誘導する手法の開発。
• 熟練者によるアノテーション付き言語データに依存しないようにすることで、ルールベースおよび教師ありアプローチの限界を克服すること。
• 言語的抽象化の各層の間で相互に強化しあうことで、構文的構造と意味的コンテンツの両方を自動的に習得すること。
• 生のテキストからの大規模かつ段階的な学習が、語のクラスタ、リンクタイプ、意味的グラフを含む、整合的で階層的な言語表現を生み出せることを示すこと。
• 構文的および意味的誘導をフィードバック駆動のループで統合する理論的根拠があり、スケーラブルな言語学習フレームワークを提供すること。

提案手法

• 語を「もの」として扱い、語のペア間の相互情報量を測定することで、統計的に有意な共起を同定する。
• エントロピー最小化の原則に基づいて語をクラスタリングする：語のペア関係全体の総エントロピーを低下させる場合にのみクラスタを形成する。
• 新たな「もの」として語のクラスタを定義し、このプロセスを繰り返すことで、下位レベルのパターンから上位レベルの抽象概念（例：意味的クラス）が出現するようにする。
• 語のペア関係の繰り返しパターンから構文的リンクタイプ（例：主語、目的語）を同定し、語のクラスタリングおよび意味的グラフの精緻化に利用する。
• 語のクラスタとリンクタイプから意味的グラフを構築し、共通するグラフ構造を再利用可能な意味的カテゴリに抽象化する。
• 構文的フェーズと意味的フェーズを交互に実行する学習ループを採用し、意味的洞察が構文的クラスタリングを、逆に構文的クラスタリングが意味的グラフの構築を導くことで、相互に強化する仕組みを実現する。

実験結果

リサーチクエスチョン

• RQ1 統計的相関とエントロピーに基づくクラスタリングを用いて、アノテーションなしテキストから依存文法を純粋に誘導できるか？
• RQ2 明示的な監視なしに、構文的パターンから意味的関係が自然に出現するか？
• RQ3 教師なし言語習得の過程で、構文的および意味的学習がフィードバックループ内でどの程度お互いに強化し合うか？
• RQ4 反復的・段階的な学習によって、生のテキストから階層的言語構造（例：語のクラス、意味的カテゴリ）を構築することは可能か？
• RQ5 提案手法は、人為的アノテーションデータなしで、人間が学習する文法および意味学と同等の言語的抽象化レベルに到達できるか？

主な発見

• このフレームワークにより、人為的アノテーション付き学習データに依存せずに、大規模なアノテーションなしコーパスから直接依存文法と構文から意味へのマッピングを教師なしで誘導可能である。
• エントロピー最小化は、共起パターンと相互情報量に基づいて意味的に整合性のある語のクラスに語をクラスタリングする原理的根拠を提供する。
• 構文的および意味的学習の繰り返しループにより、上位レベルの抽象概念（例：意味的カテゴリ）が下位レベルのクラスタリングを導き、逆に下位レベルのクラスタリングが上位レベルの抽象化を促進するなど、相互に強化され、全体のモデルの整合性が向上する。
• 共有のクラスタベース構造の認識を通じて、複数の文を共通の意味的テンプレートで要約するような、コンパクトで再利用可能な意味的グラフの出現を支援する。
• このアプローチはスケーラブルでモジュラーであり、初期の実装はOpenCogのコードベース、特にnlp/learnディレクトリで進行中である。
• 大規模な定量的ベンチマークは報告されていないが、著者らは理論的およびアルゴリズム的基盤が十分に成熟しており、プロトタイピングに十分な基盤を提供すると主張しており、完全に機能するシステムの実現には数年間の開発作業を要する可能性がある。