[論文レビュー] Generative Neural Machine for Tree Structures

Ganbin Zhou, Ping Luo+5 more|arXiv (Cornell University)|Apr 30, 2017

Topic Modeling参考文献 15被引用数 4

ひとこと要約

本稿では、事前に定義された葉ノードを必要とせずに、木構造出力を生成するトップダウン型ニューラルモデルX2Treeを提案する。アノニムスメモリを用いて再帰的に順序付きの子ノードを生成することで、シーケンスから木への学習フレームワークにおいて、ベースラインより会話応答受容率を11.15%向上させる。

ABSTRACT

Tree structures are commonly used in the tasks of semantic analysis and understanding over the data of different modalities, such as natural language, 2D or 3D graphics and images, or Web pages. Previous studies model the structures in a bottom-up manner, where the leaf nodes (given in advance) are merged into internal nodes until they reach the root node. However, these models are not applicable when the leaf nodes are not explicitly specified ahead of prediction. Here, we introduce a neural machine for top-down generation of structures that aims to infer such structures without the specified leaf nodes. In this model, the history memories from ancestors are fed to a node to generate its (ordered) children in a recursive manner. This model can be utilized as a tree-structured decoder in the framework of to tree learning, where X stands for any structure (e.g. chain, etc.) that can be represented as a latent vector. By transforming the dialogue generation problem into a sequence-to-tree task, we demonstrate the proposed X2Tree framework achieves a 11.15% increase of response acceptance ratio over the baseline methods.

研究の動機と目的

• 予測の前に明示的に指定された葉ノードを必要とする従来のボトムアップ木生成モデルの制限を解消すること。
• 終端ノードの事前知識なしに、潜在表現から木構造を推論できる生成フレームワークの開発。
• 会話応答生成などのタスクにおけるエンドツーエンドの木構造シーケンス生成の実現。
• 親ノードからの階層的文脈に基づいて子ノードを生成する再帰的デコードメカニズムの導入。

提案手法

• モデルはルートから開始し、再帰的に各ノードの順序付き子ノードを生成するトップダウン生成戦略を採用する。
• 各ノードで、親ノードからの履歴メモリを用いて、その子ノードの生成を条件づける再帰的ニューラルネットワークを適用する。
• フレームワークは、入力シーケンスを潜在ベクトル表現を用いて木構造出力にマッピングする木構造デコーダとして設計されている。
• Xを柔軟な潜在表現として扱うことで、鎖状構造（例：チェーン）を含む多様な木構造をサポートする。
• 子ノード生成時に親の文脈に注目するアテンションメカニズムを活用し、構造的一致性を確保する。
• シーケンスモデリング目的と連合学習が可能な、シーケンスから木への学習フレームワークに統合されている。

実験結果

リサーチクエスチョン

• RQ1 ニューラルモデルは、事前に定義された葉ノードを必要とせずに、木構造出力を生成できるか？
• RQ2 トップダウンでメモリ拡張された生成戦略は、整合的な木構造を構築するためにどれほど効果的か？
• RQ3 X2Treeフレームワークは、ベースラインモデルと比較して、会話生成における応答品質をどの程度向上させるか？
• RQ4 統一された潜在表現のもとで、鎖状や分岐構造を含むさまざまな木構造に一般化可能か？

主な発見

• X2Treeフレームワークは、会話生成においてベースライン手法と比較して11.15%高い応答受容率を達成した。
• 推論時においても、葉ノードの明示的指定が不要であることを確認した。
• 親ノードメモリの使用により、一貫性があり順序付けられた子ノード生成が可能となり、構造の整合性が向上した。
• シーケンスから木への学習において有効であることが示され、会話応答生成タスクで優れた性能を発揮した。