[論文レビュー] Left-corner Methods for Syntactic Modeling with Universal Structural Constraints

Hiroshi Noji|arXiv (Cornell University)|Aug 1, 2016

Topic Modeling参考文献 136被引用数 3

ひとこと要約

本稿は、普遍的な句構造的制約——特に中心埋め込みの回避——を言語を跨いで利用するための左隅解析手法を提案する。従来の依存文法における左隅解析を拡張し、20以上のUniversal Dependencies木構造コーパスを分析することで、中心埋め込みが普遍的にまれであることが示され、この制約を活用することで、教師なし文法誘導および解析の性能が向上することが明らかになった。

ABSTRACT

The primary goal in this thesis is to identify better syntactic constraint or bias, that is language independent but also efficiently exploitable during sentence processing. We focus on a particular syntactic construction called center-embedding, which is well studied in psycholinguistics and noted to cause particular difficulty for comprehension. Since people use language as a tool for communication, one expects such complex constructions to be avoided for communication efficiency. From a computational perspective, center-embedding is closely relevant to a left-corner parsing algorithm, which can capture the degree of center-embedding of a parse tree being constructed. This connection suggests left-corner methods can be a tool to exploit the universal syntactic constraint that people avoid generating center-embedded structures. We explore such utilities of center-embedding as well as left-corner methods extensively through several theoretical and empirical examinations. Our primary task is unsupervised grammar induction. In this task, the input to the algorithm is a collection of sentences, from which the model tries to extract the salient patterns on them as a grammar. This is a particularly hard problem although we expect the universal constraint may help in improving the performance since it can effectively restrict the possible search space for the model. We build the model by extending the left-corner parsing algorithm for efficiently tabulating the search space except those involving center-embedding up to a specific degree. We examine the effectiveness of our approach on many treebanks, and demonstrate that often our constraint leads to better parsing performance. We thus conclude that left-corner methods are particularly useful for syntax-oriented systems, as it can exploit efficiently the inherent universal constraints in languages.

研究の動機と目的

• 文法指向NLPシステムの性能向上に寄与する言語に依存しない句構造的制約を同定すること。
• 認知的に困難とされる中心埋め込みが、自然言語において普遍的に回避されているかどうかを調査すること。
• 依存木における中心埋め込みの度合いを効率的に捉えることができる左隅解析アルゴリズムを開発すること。
• 中心埋め込みの回避による探索空間の制約が、教師なし文法誘導の性能向上に寄与するかどうかを評価すること。
• Universal Dependenciesプロジェクトの多言語依存木構造コーパスを用いて、句構造的パターンの普遍性を検証すること。

提案手法

• 文法的構造の中心埋め込み度合いを文の処理中に追跡できるように、依存文法における左隅解析を拡張する。
• スタックに基づく左隅PDAを定義し、トークンをシフトする直前のスタックの深さが、そのトークンの中心埋め込み度に相当する。
• 形式的証明により、トークン e をシフトする直前のスタック深さ δe が、m′e + 1 に等しいことを示す。ここで m′e は e の中心埋め込み度である。
• 探索空間を低中心埋め込み度構造に制限することで、左隅解析フレームワークを教師なし文法誘導に応用する。
• 実験的評価のために、Universal Dependenciesプロジェクトの20以上の多言語依存木構造コーパスを用いる。
• ユーザーが定めたしきい値まで、高中心埋め込み度の導出を除外することで、探索空間を効率的にタブレート化するパーサーを実装する。

実験結果

リサーチクエスチョン

• RQ1 中心埋め込みは、多様な自然言語において普遍的に回避されているのか、その程度はどの程度か？
• RQ2 左隅解析は、依存木における中心埋め込み度合いを効果的にモデル化・定量化できるか？
• RQ3 中心埋め込みの回避を普遍的制約として組み込むことで、教師なし文法誘導の性能が向上するか？
• RQ4 左隅解析のメカニズムは、句構造における中心埋め込み度の形式的定義とどのように関係しているか？
• RQ5 普遍的な句構造的制約を用いることで、文法誘導における探索空間をどの程度小さくできるか、正確性を損なわずに行えるか？

主な発見

• 分析対象の20以上の言語において、中心埋め込みは稀な現象であることが判明した。
• 左隅解析アルゴリズムは、中心埋め込み度を的確に捉えており、トークンをシフトする直前のスタック深さが、そのトークンの中心埋め込み度よりちょうど1大きいことが保証されている。
• 形式的証明により、左隅PDAにおける最大スタック深さが、解析木における最大中心埋め込み度に正確に対応することが示された。
• 教師なし文法誘導において、中心埋め込み制約を適用することで、複数の木構造コーパスで解析性能が向上した。
• 左隅法は普遍的な句構造的制約を効率的に活用し、探索空間を削減しながらも、モデルの正確性を維持または向上させた。
• 結果は、中心埋め込みの回避が、文法モデリングにおいて計算的に利用可能な普遍的な言語的制約であるという仮説を支持する。