[論文レビュー] Unsupervised Learning of Task-Specific Tree Structures with Tree-LSTMs

Jihun Choi, Kang Min Yoo+1 more|arXiv (Cornell University)|Jul 10, 2017

Topic Modeling被引用数 17

ひとこと要約

本稿では、事前に定義された解析木を必要とせず、平文のテキストから直接タスク固有の木構造を学習する Tree-LSTM アーキテクチャを提案する。直線的（Straight-Through）な Gumbel-Softmax 評価法を用いることで、微分可能な離散的決定が可能となり、収束が速く、メモリ使用量が少ない。このモデルは、自然言語インタフェースおよびセンチメント分析タスクにおいて、先行する Tree-LSTM メソッドと同等またはそれ以上の性能を達成する。

ABSTRACT

For years, recursive neural networks (RvNNs) have shown to be suitable for representing text into fixed-length vectors and achieved good performance on several natural language processing tasks. However, the main drawback of RvNN is that it requires explicit tree structure (e.g. parse tree), which makes data preparation and model implementation hard. In this paper, we propose a novel tree-structured long short-term memory (Tree-LSTM) architecture that efficiently learns how to compose task-specific tree structures only from plain text data. To achieve this property, our model uses Straight-Through (ST) Gumbel-Softmax estimator to decide the parent node among candidates and to calculate gradients of the discrete decision. We evaluate the proposed model on natural language interface and sentiment analysis and show that our model outperforms or at least comparable to previous Tree-LSTM-based works. We also find that our model converges significantly faster and needs less memory than other models of complex structures.

研究の動機と目的

• 再帰的ニューラルネットワークが構造を明示的に解析木に依存するという制限を解消すること。
• 平文のテキストから直接タスク固有の木構造をエンドツーエンドで学習可能にすること。
• 既存の構造化モデルと比較して、メモリ消費量を削減し、収束を高速化すること。
• 外部の解析器に依存せずに、センチメント分析や自然言語インタフェースなどの NLP タスクで優れた性能を達成すること。

提案手法

• モデルは、候補ノード間の親ノード選択を微分可能にサンプリングするために、Straight-Through Gumbel-Softmax 評価法を採用する。
• 木構造の決定が離散的であるにもかかわらず、勾配逆伝播によって木の構成を学習する。
• 木LSTMユニットを用いて、部分構造を固定長のベクトルに再帰的に符号化する。
• ゴールスタンダードの解析木が不要なため、生テキスト上で自己教師的に訓練する。
• 最終的な木構造は、候補親ノードに対する学習済みの注目メカニズムに類似した意思決定によって決定される。

実験結果

リサーチクエスチョン

• RQ1 外部の解析器に依存せず、生テキストから効果的でタスク固有の木構造をニューラルモデルが直接学習できるか？
• RQ2 微分可能な Gumbel-Softmax 評価法の使用が、木構造モデルにおける訓練の安定性および収束速度に与える影響はいかほどか？
• RQ3 本手法は、既存の構造化モデルと比較して、どの程度メモリ使用量を削減できるか？
• RQ4 エンドツーエンドの構造学習を経ていても、下流の NLP タスクで競争力のある性能を達成できるか？

主な発見

• 提案手法は、センチメント分析および自然言語インタフェースタスクの両方で、先行する Tree-LSTM ベースの手法と同等またはそれ以上の性能を達成した。
• 複雑な構造アーキテクチャを持つモデルと比較して、収束が著しく速かった。
• 複雑な木構造を持つ他のモデルと比較して、トレーニング中のメモリ使用量が少なかった。
• Straight-Through Gumbel-Softmax の使用により、離散的木構造の決定に対して効果的な勾配伝播が可能になった。