[論文レビュー] Dynamic Compositional Neural Networks over Tree Structure

Pengfei Liu, Xipeng Qiu+1 more|arXiv (Cornell University)|May 11, 2017

Topic Modeling参考文献 20被引用数 9

ひとこと要約

本稿では、木構造ニューラルネットワークにおける文脈に応じた構成関数をメタネットワークを用いて動的に生成することで、固定パラメータモデルの不足適合問題を克服する、木構造上での動的構成的ニューラルネットワーク（DC-TreeNN）を提案する。この手法は、モデルパラメータを増加させることなく、テキスト分類および意味的マッチングタスクで向上した性能を達成し、動的でタスクに適応した構成によって表現力が向上することを示している。

ABSTRACT

Tree-structured neural networks have proven to be effective in learning semantic representations by exploiting syntactic information. In spite of their success, most existing models suffer from the underfitting problem: they recursively use the same shared compositional function throughout the whole compositional process and lack expressive power due to inability to capture the richness of compositionality. In this paper, we address this issue by introducing the dynamic compositional neural networks over tree structure (DC-TreeNN), in which the compositional function is dynamically generated by a meta network. The role of meta-network is to capture the metaknowledge across the different compositional rules and formulate them. Experimental results on two typical tasks show the effectiveness of the proposed models.

研究の動機と目的

• すべての句構造的組み合わせに共通して使用される固定の構成関数が原因で生じる木構造ニューラルネットワークにおける不足適合問題に対処すること。
• 文脈、位置、入力に応じて構成関数を変化させることで、意味的構成性のより表現力豊かなモデリングを可能にすること。
• 事前に定義された構成ルールや句種別分割に依存するのを軽減し、これらが制限的で一般化が難しいことに対処すること。
• 動的関数生成であってもパラメータの爆発を避けることで、モデルの効率性を維持すること。
• 構成ネットワークの文脈に応じたパラメータを生成するメタネットワークをエンドツーエンドで学習可能にする。

提案手法

• 入力の文脈と木構造に基づいて、動的構成関数のパラメータを生成するメタネットワークを導入する。
• 各ノードごとに構成関数が動的に生成され、異なる文法的または意味的文脈に対して異なる演算が可能になる。
• 構成関数を制御するための潜在ベクトル z を用い、z は左および右の子ノードの表現から計算される。
• 低ランク行列分解を用いて動的重み行列を実装することで、モデルの複雑さとパラメータ数を削減する。
• バックプロパゲーションを用いてエンドツーエンドで学習され、メタネットワークと構成ネットワークの両方が微分可能である。
• 本手法は、Tree-RecNN および Tree-LSTM の2つのアーキテクチャに適用され、さまざまな木ニューラルネットワークのバリエーションに一般化されることを示している。

実験結果

リサーチクエスチョン

• RQ1 メタネットワークは、木構造ニューラルネットワークにおける意味的表現を向上させるために、文脈に応じた構成関数を効果的に生成できるか？
• RQ2 固定パラメータモデルと比較して、動的パラメータ生成はNLPタスクでより優れたパフォーマンスを達成するか？
• RQ3 明示的な規則定義なしに、比喩的表現や文法的構造といった複雑な構成パターンをモデルが暗黙的に学習できるか？
• RQ4 パラメータ数を維持または削減しつつ、どの程度不足適合を軽減できるか？
• RQ5 メタネットワーク内の潜在表現は、構成に関連する意味的および文法的情報をどの程度反映しているか？

主な発見

• DC-TreeNNモデルは、テキスト分類および意味的マッチングタスクの6つのベンチマークデータセットにおいて、最先端または競争力のあるパフォーマンスを達成した。
• IMDBおよびAGデータセットでは、潜在ベクトルサイズが40のときに最適なパフォーマンスを達成したが、MR、SST、SUBJではそれぞれ30、30、20のサイズで最良の性能が得られた。
• 定性的分析の結果、メタネットワーク内の特定のニューロンが、感情表現（例：'in stitches'）や軽い動詞構文（例：'taking off'）といった意味的・文法的パターンに反応することがわかった。
• モデルは、明示的な規則なしに比喩的語句や文法的構造を暗黙的に学習でき、複雑な構成性を捉える能力を示している。
• 構成関数の動的性質により、モデルは文脈に応じて演算を適応可能にし、パラメータを増加させることなく表現力を向上させた。
• メタネットワークは、代表的な文におけるニューロンの活性化パターンから、意味的および文法的バイアスを効果的に捉えていることが示された。