[論文レビュー] Dependency Parsing with Dynamic Bayesian Network

Virginia Savova, Leonid Peshkin|arXiv (Cornell University)|Mar 27, 2007

Natural Language Processing Techniques参考文献 13被引用数 6

ひとこと要約

本稿では、構文解析を局所的分類意思決定の逐次的処理として扱う動的ベイジアンネットワーク（DBN）を提案する。このモデルは、局所的主語修飾関係に基づいて文字列を再帰的に圧縮することで、非局所的依存関係を無限に扱える。Wall Street Journalコーパスからの英語文の正確な構文解析が達成され、複雑な構文的構造が局所的で生物学的に妥当な推論メカニズムによって学習可能であることが示された。

ABSTRACT

Exact parsing with finite state automata is deemed inappropriate because of the unbounded non-locality languages overwhelmingly exhibit. We propose a way to structure the parsing task in order to make it amenable to local classification methods. This allows us to build a Dynamic Bayesian Network which uncovers the syntactic dependency structure of English sentences. Experiments with the Wall Street Journal demonstrate that the model successfully learns from labeled data.

研究の動機と目的

• マークフ・モデルが自然言語構文における無限の非局所的依存関係を捉えることの限界を解消すること。
• 依存構文解析を動的ベイジアンネットワークに適した局所的分類タスクの逐次的処理に再定式化すること。
• ラベル付きデータから階層的構文的構造を学習可能な、生物学的に妥当な解析モデルを開発すること。
• 再帰的局所処理が、言語における有限の手段を無限に使用する脳の能力を模倣できるかどうかを検討すること。

提案手法

• 解析器は、文字列内の局所的主語修飾関係を再帰的に特定することで動作し、各語を左隣、右隣、または両者に依存するとラベルづけする。
• 動的ベイジアンネットワーク（DBN）は、文字列圧縮の各段階でこれらの局所的依存関係を分類するように学習する。
• モデルは段階的に処理を行い、元の文字列から始めて、連結された修飾語を順次削除し、根節だけが残るまで繰り返す。
• DBNは、各段階が前の段階の圧縮版を表すラベル付き文字列の系列を入力とし、階層的構造の回復を可能にする。
• 文字列における非局所的依存関係は依存木では局所的になるため、局所的決定によってグローバル構造を再構築可能である。
• 学習プロセスは教師ありであり、Wall Street Journalコーパスからのラベル付きデータを用いて、DBNが局所的接続意思決定を学習する。

実験結果

リサーチクエスチョン

• RQ1 動的ベイジアンネットワークが、局所的分類意思決定のみに依存して長距離構文的依存関係を効果的にモデル化できるか。
• RQ2 依存構文解析を、グローバル構文的構造を保持する局所的意思決定の逐次的処理に再構造できるか。
• RQ3 生物学的に妥当なニューラル機構が、近似的ベイジアン推論を用いてこの解析戦略を実装できる程度は何か。
• RQ4 再帰的局所処理は、曖昧な構文的依存関係や構成要素内にない依存関係を処理する際に、どのような限界を示すか。

主な発見

• DBN解析器は、Wall Street Journalコーパスのラベル付きデータから、構文的依存構造を効果的に回復した。
• モデルは再帰的導出のすべての段階で文法的知識を捉えており、依存距離の変動に対しても頑健であることが示された。
• このアプローチは生物学的に妥当であり、近似的ベイジアン推論を行う積分・放電ニューロンを用いた神経回路で実装可能である。
• モデルは文脈自由型の依存関係に限定され、中間の素材が構成要素でない文脈依存的構造では失敗する。
• 現在のモデルでは、関連する修飾語の意味的情報を失っているため、'the camel with a telescope'と'the camel with two humps'のような構造的に異なる文を区別できない。
• 意思決定の不可逆性や構造的曖昧性の制限を克服するため、将来の拡張としてビームサーチや修飾語の意味的追跡が提案されている。