[論文レビュー] Tensor Product Generation Networks for Deep NLP Modeling

Qiuyuan Huang, Paul Smolensky+3 more|arXiv (Cornell University)|Sep 26, 2017

Multimodal Machine Learning Applications参考文献 24被引用数 6

ひとこと要約

本論文では、解釈可能な自然言語生成を目的とした、TPR（テンソル積表現）に対応する深層学習アーキテクチャであるテンソル積生成ネットワーク（TPGN）を提案する。文法的役割に基づいて単語を抽出するためのテンソル積アンバインディングを活用することで、TPGNはCOCO画像キャプションベンチマークにおいてLSTMベースラインを上回り、役割ベースのクラスタリングと品詞タグ予測を通じて内部表現の解釈性を実現する。

ABSTRACT

We present a new approach to the design of deep networks for natural language processing (NLP), based on the general technique of Tensor Product Representations (TPRs) for encoding and processing symbol structures in distributed neural networks. A network architecture --- the Tensor Product Generation Network (TPGN) --- is proposed which is capable in principle of carrying out TPR computation, but which uses unconstrained deep learning to design its internal representations. Instantiated in a model for image-caption generation, TPGN outperforms LSTM baselines when evaluated on the COCO dataset. The TPR-capable structure enables interpretation of internal representations and operations, which prove to contain considerable grammatical content. Our caption-generation model can be interpreted as generating sequences of grammatical categories and retrieving words by their categories from a plan encoded as a distributed representation.

研究の動機と目的

• 自然言語処理における構造的かつ解釈可能な記号処理を可能にするテンソル積表現（TPR）を活用した深層学習アーキテクチャの開発。
• LSTMのような標準的な系列モデルにおける解釈不能性の問題を解消するため、文法的役割構造をモデルの内部計算に埋め込む。
• 特に自然言語生成を目的として、記号的構造を保持した分散表現のエンドツーエンド学習を可能にする。
• TPR対応アーキテクチャが、解釈可能な学習表現を保ちながら、生成タスクにおいて標準的なRNN/LSTMベースラインを上回ることを実証する。

提案手法

• TPGNアーキテクチャは、行列-ベクトル積を用いてTPRアンバインディングを実行するように設計されており、分散表現から個々の単語を抽出可能である。
• 内部表現は、語彙埋め込みと役割埋め込み（例：主語、目的語、動詞）のテンソル積として構造化され、文の構造のベクトル空間埋め込みを形成する。
• 学習されたアンバインディングベクトルを用いて、文法的役割ごとに単語を逐次抽出することで、構造的な生成を実現する。
• モデルは、画像特徴を生成するCNNエンコーダと、役割固有のアンバインディングに基づいてシーケンスを生成するTPGNデコーダを備えたエンドツーエンドで学習される。
• アンバインディングベクトルのクラスタリングにより、名詞、動詞、前置詞などの文法的カテゴリに対応する明確なパターンが明らかになるため、解釈が可能である。
• 主な構成要素には、役割固有のアンバインディングベクトルと、検索に用いる計画的で分散表現された文構造のエンコードが含まれる。

実験結果

リサーチクエスチョン

• RQ1 構造的で解釈可能な記号処理を可能にする、本質的にTPR対応の深層学習アーキテクチャを設計できるか？
• RQ2 TPGNモデルは、解釈可能な内部表現を保ちながら、画像キャプションタスクで標準的なLSTMベースラインを上回るか？
• RQ3 TPGNにおける学習済みアンバインディングベクトルが、文法的役割および品詞にどの程度対応しているか？
• RQ4 TPGNモデルの内部構造が、文法的カテゴリに基づく文生成の計画をエンコードしていると解釈できるか？
• RQ5 アンバインディングベクトルのクラスタリングパターンは、生成された単語の構文的・意味的性質とどのように関連しているか？

主な発見

• TPGNモデルは、COCOデータセットにおいて複数の標準的指標でLSTMベースラインを上回り、優れた生成品質を示した。
• TPGNモデルのアンバインディングベクトルは、文法的カテゴリごとに意味的に明確なクラスタリングを示しており、クラスタ1, 5, 7, 9は主に名詞的であり、クラスタ0, 4, 6, 8は主に動詞的である。
• モデルの内部アンバインディングプロセスは、最初の単語が常にクラスタ2の役割アンバインディングベクトルによって生成され、2番目の単語がクラスタ3のものであることを示しており、位置的役割符号化が行われていることが判明した。
• 2番目以降の単語については、アンバインディングベクトルが構文的・意味的性質に関連しており、クラスタ4で生成された単語の91%が前置詞であり、クラスタ7で生成された単語の88%が名詞であった。
• クラスタ4（前置詞）で生成された単語について、品詞タグの正しく予測される確率は91%であり、クラスタ7（名詞）では88%であった。これは、アンバインディングクラスタと文法的構造との強い整合性を示している。
• TPGNモデルの内部表現には顕著な文法的コンテントが含まれており、5,000件のテストキャプションにおいて、N/V（名詞的/動詞的）一般化に高い適合性を示した（ほとんどのカテゴリでPc = 0.91–0.98）。