[論文レビュー] A Re-ranking Model for Dependency Parser with Recursive Convolutional Neural Network

Chenxi Zhu, Xipeng Qiu+2 more|arXiv (Cornell University)|May 21, 2015

Natural Language Processing Techniques参考文献 29被引用数 9

ひとこと要約

本稿では、依存木内の語と語句の密集的で構成的な表現を学習するための再帰的畳み込みニューラルネットワーク（RCNN）を提案する。このアプローチにより、$k$-bestパーサ出力の再順序付けが効果的に行える。畳み込み特徴抽出とマックスプーリングを再帰的アーキテクチャ内で組み合わせることで、従来のモデルよりも構文的・意味的構造をより効果的に捉えることができ、英語および中国語の依存パーサのベンチマークにおいて最先端の性能を達成した。

ABSTRACT

In this work, we address the problem to model all the nodes (words or phrases) in a dependency tree with the dense representations. We propose a recursive convolutional neural network (RCNN) architecture to capture syntactic and compositional-semantic representations of phrases and words in a dependency tree. Different with the original recursive neural network, we introduce the convolution and pooling layers, which can model a variety of compositions by the feature maps and choose the most informative compositions by the pooling layers. Based on RCNN, we use a discriminative model to re-rank a $k$-best list of candidate dependency parsing trees. The experiments show that RCNN is very effective to improve the state-of-the-art dependency parsing on both English and Chinese datasets.

研究の動機と目的

• 従来の特徴ベースの依存パーサーが、過学習しやすい手作業によるスパース特徴に依存するという限界を解消すること。
• 依存木内のすべてのノード（語および語句）に対して、統合的かつ密集的なベクトル表現を学習すること、未観測の語句に対しても同様に適用可能であること。
• 二分木に限らないk分木を扱える神経ネットワークアーキテクチャを設計し、依存パーサへの適用性を高めること。
• RCNNに基づく判別モデルを用いて、$k$-best候補木の再順序付けを行い、パーサの精度を向上させること。
• 固定された事前学習済み埋め込みを用いるのではなく、パーサに最適化された表現をエンドツーエンドで学習すること。

提案手法

• 各ノードとその子ノードを、畳み込み層およびプーリング層を用いて処理する再帰的畳み込みニューラルネットワーク（RCNN）を提案する。
• 親子ペアごとに、RCNNユニットは相互作用をモデル化する畳み込み層を適用し、次に最も情報量の多い特徴を選択するマックスプーリング層を適用する。
• 各RCNNユニットの出力は、親ノードのRCNNユニットの入力となり、ルートノードまで再帰的合成が可能になる。
• ルートノードで得られる固定長ベクトルが、全体の依存木を表し、再順序付けフレームワークでパーサの木をスコア化するために用いられる。
• ベースパーサーが出力する $k$-bestパーサ出力に対して、判別的に学習を行い、正解木の中でスコアが最も高いものを最適化する。
• 親子ノード間の相対的位置を符号化するための位置埋め込みを導入し、畳み込み層が構造的依存関係を捉える能力を向上させる。

実験結果

リサーチクエスチョン

• RQ1 畳み込み層とプーリング層を備えた再帰的ニューラルネットワークは、依存木における構文的および構成的意味的表現を効果的にモデル化できるか？
• RQ2 提案されたRCNNアーキテクチャは、非二分木（k分木）の依存木を処理する際、標準的な再帰的ニューラルネットワークを上回る性能を示すか？
• RQ3 RCNNを用いた再順序付けは、英語および中国語のデータセットにおいて、既存の依存パーサーの精度を向上させることができるか？
• RQ4 Oracle木を $k$-bestリストに含めることで、RCNN再順序付けモデルの性能にどのような影響が生じるか？
• RQ5 RCNNモデルは、パーサー以外の自然言語処理タスク（例：テキスト分類）へどの程度一般化可能か？

主な発見

• RCNNモデルは、英語および中国語の依存パーサのベンチマークで最先端の性能を達成し、以前の手法を上回った。
• 再順序付けモデルは、ベースパーサーの精度を顕著に向上させた。特に、$k$-bestリストにオラクル木を含めた場合に顕著であった。
• モデルは $k \leq 64$ の範囲で最も良い性能を示した。$k$ が大きくなると、誤りタイプが増加し、負例が不足するため過学習が生じる傾向にあった。
• RCNNにおける位置埋め込みの使用は、畳み込み層の構造的依存関係の捉え方を向上させ、性能向上に寄与した。
• RCNNアーキテクチャは一般化可能であり、パーサー以外のNLPタスク（例：文レベル表現モデル）にも応用可能である。
• RCNNを用いた判別的再順序付けアプローチは、トレーニング中に誤った候補木をより効果的に活用できるため、IORNNのような生成モデルを上回った。