[論文レビュー] Bootstrapping Structure using Similarity

Menno van Zaanen|ArXiv.org|Apr 3, 2001

Natural Language Processing Techniques参考文献 16被引用数 6

ひとこと要約

本稿では、共通語を有する文のペアを対応付けることで、相互に置換可能な構成要素を同定することで、ラベルなし文から構文的構造をブートストラップする非教師あり文法誘導アルゴリズムである ABL（Alignment-Based Learning）を提示する。ATISコーパスでは86.04%の非交差括弧精度、OVISコーパスでは89.39%を達成し、事前ラベル付けデータやパrameterチューニングに依存せずに効果的な構造学習が可能であることを示している。

ABSTRACT

In this paper a new similarity-based learning algorithm, inspired by string edit-distance (Wagner and Fischer, 1974), is applied to the problem of bootstrapping structure from scratch. The algorithm takes a corpus of unannotated sentences as input and returns a corpus of bracketed sentences. The method works on pairs of unstructured sentences or sentences partially bracketed by the algorithm that have one or more words in common. It finds parts of sentences that are interchangeable (i.e. the parts of the sentences that are different in both sentences). These parts are taken as possible constituents of the same type. While this corresponds to the basic bootstrapping step of the algorithm, further structure may be learned from comparison with other (similar) sentences. We used this method for bootstrapping structure from the flat sentences of the Penn Treebank ATIS corpus, and compared the resulting structured sentences to the structured sentences in the ATIS corpus. Similarly, the algorithm was tested on the OVIS corpus. We obtained 86.04 % non-crossing brackets precision on the ATIS corpus and 89.39 % non-crossing brackets precision on the OVIS corpus.

研究の動機と目的

• 事前ラベル付け済みまたは事前括弧付け済みコーパスに依存せずに、ラベルなし文から構文的構造を学習する非教師あり文法誘導システムの開発。
• 類似度に基づく対応付けを通じて、人間の構文的構造習得に類似した、置換可能な文の部分を同定することによる構文的構造習得のモデル化。
• 表面的な語の類似性のみに依存して、有限の文の集合から再帰的構造を学習可能にする。
• 一貫性があり高尤度な構成要素を優先する確率的モデルを用いて、括弧選択を改善すること。
• 意味的または機能的に類似した語のための同値類を導入することで、厳密な語の一致を必要としないように、厳密な語マッチング制約を緩和すること。

提案手法

• アルゴリズムは、1つ以上の共通語を有する非構造的または部分的に括弧付け済みの文のペアを比較することで、対応付け学習を実行する。
• 対応付けられた文の間で異なる部分として、置換可能な構成要素を同定し、それらを同じ構文的タイプの候補として扱う。
• ABL:incr、ABL:leaf、ABL:branch の3つのバリアントがあり、括弧選択戦略が異なる。ABL:branch は、最も確率の高い構成要素を選択するための確率的モデルを用いる。
• 同値類を導入することで、意味的または機能的に類似した語（例：動詞としての「book」と「list」）の対応付けを可能にし、正確な語マッチングの必要性を緩和する。
• 固定されたウィンドウサイズを用いないため、文全体の文脈にわたって任意長の構成要素の対応付けが可能である。
• 事前学習済みタグ、ラベル、パrameterを一切使用せず、生テキスト内の構造的類似性と分布的パターンにのみ依存する。

実験結果

リサーチクエスチョン

• RQ1 語レベルの類似性と対応付けのみを用いて、ラベルなし文から構文的構造を効果的にブートストラップできるか？
• RQ2 構造的トレーニングコーパスへのアクセスが制限される非教師ありアルゴリズムが、再帰的構文的構造をどのように学習できるか？
• RQ3 語の構文的タイプが異なる場合でも、同じ名詞を修飾するなどの機能的類似性を用いて構成要素をグループ化できる程度はどの程度か？
• RQ4 正確な語マッチングが欠落している状況でも、意味的に関連する語のための同値類を導入することで、構造学習が向上するか？
• RQ5 括弧選択戦略の選択（例：ABL:branch と ABL:incr）が、得られる構文的括弧付けの精度に与える影響はいかほどか？

主な発見

• ABLアルゴリズムは、生でラベルなしの文から構文的構造を効果的に学習でき、ATISコーパスでは86.04%の非交差括弧精度を達成した。
• より大きなOVISコーパスでは、89.39%の非交差括弧精度を達成し、スケーラビリティと頑健性を示した。
• 括弧選択により具体的な確率的モデルを用いるABL:branchは、ABL:incr や ABL:leaf よりも精度が優れていた。
• 有限の文の集合から再帰的構造を学習できることから、階層的な構文的パターンを捉える能力があることが示された。
• 類似した語（例：動詞としての「book」と「list」）のための同値類を導入することで、正確な語マッチングが欠落している場合でも構造学習が可能になった。
• 本手法は、構文的タイプ（例：名詞対して形容詞）と機能的タイプ（例：名詞を修飾する）を区別でき、文脈に基づくより洗練された構成要素のグループ化を可能にした。