[論文レビュー] Bootstrapping Structure into Language: Alignment-Based Learning

Van Zaanen, Menno Matthias|arXiv (Cornell University)|Sep 1, 2001

Natural Language Processing Techniques参考文献 102被引用数 78

ひとこと要約

本稿では、文のペair比較と置換可能性の検出を通じて句構造を同定する非教師付きフレームワーク「アライメントベース学習（ABL）」を提案する。得られた置換可能な断片は構造的で括弧で囲まれたコーパスを構築するために選択される。この手法は、教師なしで再帰的構文構造を学習できることを、英語、オランダ語、Wall Street Journalコーパスで示している。

ABSTRACT

refined and abstract meanings largely grow out of more concrete meanings. Bloomfield (1933) This thesis introduces a new unsupervised learning framework, called Alignment-Based Learning, which is based on the alignment of sentences and Harris's (1951) notion of substitutability . Instances of the framework can be applied to an untagged, unstructured corpus of natural language sentences, resulting in a labelled, bracketed version of that corpus. Firstly, the framework aligns all sentences in the corpus in pairs, resulting in a partition of the sentences consisting of parts of the sentences that are equal in both sentences and parts that are unequal. Unequal parts of sen tences can be seen as being substitutable for each other, since substituting one unequal part for the other results in another valid sentence. The unequal parts of the sentences are thus considered to be possible (possibly overlapping) constituents, called hypotheses. Secondly , the selection learning phase considers all hypotheses found by the alignment learning phase and selects the best of these. The hypotheses are selected based on the order in which they were found, or based on a probabilistic function. The framework can be extended with a grammar extraction phase. This extended framework is called parseABL. Instead of returning a structured version of the unstructured input corpus, like the ABL system, this system also returns a stochastic context-free or tree substitution grammar. Different instances of the framework have been tested on the English ATIS corpus, the Dutch OVIS corpus and the Wall Street Journal corpus. One of the interesting results, apart from the encouraging numerical results, is that all instances can (and do) learn recursive structures.

研究の動機と目的

• タグの付けられていない、構造のないテキストから構文的構造を発見する非教師付き学習フレームワークの開発を目的とする。
• 明示的な教師信号や事前定義された文法が存在しない状況において、構文的構成要素を誘導する課題に取り組むことを目的とする。
• ハリス（1951）にインspiredされた置換可能性の原則に基づき、相互に置き換え可能な文の断片を特定することで、構文的構造をモデル化することを目的とする。
• より広範な構文的一般化を可能にするために、確率的文法や木置換文法への拡張を目的とする。
• ATIS、OVIS、Wall Street Journalコーパスを含む多様なコーパスから、再帰的構文構造を学習できるかどうかを実証することを目的とする。

提案手法

• コーパス全体にわたる文のペア比較を通じて、文の間で一致する部分と異なる部分を同定する。
• アラインメントされた文のペア間で一致しない部分を、置換可能性に基づいて候補となる構成要素（「仮説」）として扱う。
• 順序または確率関数に基づいて、最も妥当な仮説をランク付け・選択する選択フェーズを実施する。
• 選択された構成要素から確率的文法や木置換文法を抽出するparseABLへの拡張をサポートする。
• ある有効な文において、異なる部分を別のものに置き換えると、結果として別の有効な文が得られるという原則に依拠する。これは構文的同等性を示す。
• 外部の言語資源や事前アノテーション済み構造を一切必要とせず、生の未タグ付きコーパスでのみ動作する。

実験結果

リサーチクエスチョン

• RQ1 文のアラインメントと置換可能性分析を通じて、タグの付けられていないテキストから構文的構成要素を信頼性高く発見できるか？
• RQ2 明示的な教師信号なしで、非教師付きフレームワークがどの程度再帰的構文構造を学習できるか？
• RQ3 アラインメントベースの仮説選択メカニズムは、意味的な構文的構成要素をどの程度正しく特定できるか？
• RQ4 ATIS、OVIS、Wall Street Journalコーパスのような多様な言語的ドメインに一般化可能か？
• RQ5 構文的文法抽出（parseABL）への拡張は、生テキストから解釈可能で有用な構文的文法を生成できるか？

主な発見

• フレームワークは、タグの付けられていないコーパスから再帰的構文構造を効果的に学習でき、再帰性がアラインメントと置換可能性の組み合わせだけで生じうることを示している。
• 英語のATIS、オランダ語のOVIS、Wall Street Journalコーパスのすべてのテスト例で、構成要素発見の面で期待される数値的結果が得られた。
• アラインメントプロセスは、重複する部分があっても、意味的な構文的構成要素に対応する置換可能な断片を一貫して同定している。
• 順序または確率に基づく選択フェーズは、候補の全セットから妥当な仮説を効果的にフィルタリングしている。
• parseABL拡張は、学習された構成要素から確率的文法や木置換文法を効果的に生成している。
• この手法は複数の言語やドメインにわたり頑健であることが示され、非教師付き構文構造誘導への広範な適用可能性を示している。