[論文レビュー] Attentive Tensor Product Learning for Language Generation and Grammar Parsing.

Qiuyuan Huang, Li Deng+3 more|arXiv (Cornell University)|Feb 20, 2018

Topic Modeling参考文献 11被引用数 3

ひとこと要約

この論文では、非教師ありロール解体ベクトルとアテンションメカニズムを用いて、構造的な文法的表現をニューラルモデルに統合する、新しい深層学習アーキテクチャであるAttentive Tensor Product Learning (ATPL)を紹介する。TPR（テンソル積表現）とLSTM、フィードフォワードネットワークを組み合わせることで、画像キャプション生成、品詞タグ付け、構文解析などのタスクで、最先端の性能を達成した。

ABSTRACT

This paper proposes a new architecture - Attentive Tensor Product Learning (ATPL) - to represent grammatical structures in deep learning models. ATPL is a new architecture to bridge this gap by exploiting Tensor Product Representations (TPR), a structured neural-symbolic model developed in cognitive science, aiming to integrate deep learning with explicit language structures and rules. The key ideas of ATPL are: 1) unsupervised learning of role-unbinding vectors of words via TPR-based deep neural network; 2) employing attention modules to compute TPR; and 3) integration of TPR with typical deep learning architectures including Long Short-Term Memory (LSTM) and Feedforward Neural Network (FFNN). The novelty of our approach lies in its ability to extract the grammatical structure of a sentence by using role-unbinding vectors, which are obtained in an unsupervised manner. This ATPL approach is applied to 1) image captioning, 2) part of speech (POS) tagging, and 3) constituency parsing of a sentence. Experimental results demonstrate the effectiveness of the proposed approach.

研究の動機と目的

• 深層学習と明示的な言語構造の間のギャップを埋めるために、記号的文法規則をニューラルアーキテクチャに組み込むこと。
• アノテートされた言語的監視なしに文法的役割を捉えることができる、非教師ありロール解体ベクトルの学習を可能にすること。
• 標準的な深層学習モデル（LSTM やフィードフォワードネットワークなど）と統合可能な微分可能フレームワークを構築すること。
• TPRに基づく表現を用いて構文構造を明示的にモデル化することで、言語生成および解析タスクの性能を向上させること。
• 画像キャプション生成、品詞タグ付け、構文解析を含む多様なNLPタスクにおいて、ATPLの有効性を評価すること。

提案手法

• 単語埋め込みとロール解体ベクトルを分散的・構成的かつ組み合わせることで、文法的構造をテンソル積表現（TPR）を用いて符号化する。
• 生テキストからロール解体ベクトルを非教師あり学習で学習する目的関数を採用し、依存構造や構文木のアノテーションなしに文法的役割を推定可能にする。
• 動的かつ柔軟にTPR表現を計算できるアテンションメカニズムを導入し、シーケンス処理中に関連するロールや語に注目できるようにする。
• LSTM やフィードフォワードニューラルネットワーク（FFNN）を含む標準的な深層学習アーキテクチャにTPRモジュールを統合し、エンドツーエンドの学習を可能にする。
• TPR操作をバックプロパゲーション可能に設計することで、単語埋め込み、ロール解体ベクトル、タスク固有のヘッドを同時に最適化できる微分可能アーキテクチャを構築する。
• 下流NLPタスク向けに、エンコーダデコーダおよびシーケンスラベルリングフレームワークにATPLモジュールをプラグイン型コンponentとして適用する。

実験結果

リサーチクエスチョン

• RQ1 非教師ありロール解体ベクトルの学習が、下流NLPタスクの性能向上に寄与する形で文法的役割を的確に捉えられるか？
• RQ2 TPRに基づく構造的表現を統合することで、ニューラルモデルの言語生成および解析性能がどの程度向上するか？
• RQ3 アテンションを強化したTPR計算は、シーケンスモデリング中に構文的役割に注目する能力をどのように向上させるか？
• RQ4 画像キャプション生成、品詞タグ付け、構文解析といった多様なNLPタスクに、ATPLが一貫した向上効果を示すか？
• RQ5 TPRによる記号的文法の統合は、標準的なニューラルアーキテクチャと比較して、より解釈可能で頑健な表現をもたらすか？

主な発見

• ATPLは、TPRを用いて構文構造を明示的にモデル化することで、画像キャプション生成ベンチマークで最先端の性能を達成した。
• 依存構造のアノテーションなしに構文的役割を捉えることができる非教師ありロール解体ベクトルを活用することで、品詞タグ付けの精度が向上した。
• 構文解析の結果から、ATPLは標準的なニューラルモデルに比べて、TPRを用いて階層的な構文的構造をよりよく捉えられていた。
• アブレーションスタディの結果、非教師ありロール解体とアテンション強化TPR計算の両方が性能向上に不可欠であることが確認された。
• LSTMおよびFFNNとTPRを統合することで、全評価タスクで一貫した性能向上が得られ、本手法のモularityと有効性が示された。