[論文レビュー] RNNs Implicitly Implement Tensor Product Representations

R. Thomas McCoy, Tal Linzen+2 more|arXiv (Cornell University)|Dec 20, 2018

Topic Modeling被引用数 41

ひとこと要約

本論文は Tensor Product Decomposition Networks (TPDNs) を提案し、シーケンスや文の RNN エンコーディングがテンソル積表現で近似できることを示し、ニューラル表現における構造がいつどのように現れるかを明らかにします。

ABSTRACT

Recurrent neural networks (RNNs) can learn continuous vector representations of symbolic structures such as sequences and sentences; these representations often exhibit linear regularities (analogies). Such regularities motivate our hypothesis that RNNs that show such regularities implicitly compile symbolic structures into tensor product representations (TPRs; Smolensky, 1990), which additively combine tensor products of vectors representing roles (e.g., sequence positions) and vectors representing fillers (e.g., particular words). To test this hypothesis, we introduce Tensor Product Decomposition Networks (TPDNs), which use TPRs to approximate existing vector representations. We demonstrate using synthetic data that TPDNs can successfully approximate linear and tree-based RNN autoencoder representations, suggesting that these representations exhibit interpretable compositional structure; we explore the settings that lead RNNs to induce such structure-sensitive representations. By contrast, further TPDN experiments show that the representations of four models trained to encode naturally-occurring sentences can be largely approximated with a bag of words, with only marginal improvements from more sophisticated structures. We conclude that TPDNs provide a powerful method for interpreting vector representations, and that standard RNNs can induce compositional sequence representations that are remarkably well approximated by TPRs; at the same time, existing training tasks for sentence representation learning may not be sufficient for inducing robust structural representations.

研究の動機と目的

• RNN が組成的な記号構造を学ぶ可能性を動機づける。
• 既存のベクトルエンコーディングをテンソル積表現で近似するための Tensor Product Decomposition Network (TPDN) を提案・検証する。

提案手法

• 与えられたエンコーディングをテンソル積で再構成する filler と roles を学習するよう TPDN を定義・実装する。
• 一方向・双方向・木構造ベースのアーキテクチャに渡って、合成数字列オートエンコーダーで TPDN を検証する。
• 自然言語の文エンコーダの表現が構造感受性を持つか、それとも主に bag-of-words 的かを評価する。
• デコーダを追加訓練せずに、置換精度を用いて TPDN が与えられたエンコーダをどれだけ再現するかを測定する。
• アーキテクチャと訓練タスクが表現の構造の出現にどのように影響するかを分析する。

実験結果

リサーチクエスチョン

• RQ1 適切な role スキームの下で、シーケンスの RNN エンコーディングはテンソル積表現でよく近似できるか？
• RQ2 異なる RNN アーキテクチャ（単方向・双方向・木構造ベース）は異なる構造表現を誘発するか？
• RQ3 文埋め込みモデルの表現は大部分が構造を欠く（bag-of-words 的）ものか、それともTPRs によって検出可能な頑健な構造を示すか？
• RQ4 エンコーダとデコーダの選択、および訓練タスクが、組成的表現の学習可能性にどう影響するか？
• RQ5 RNN における構造感知表現の出現を促進または阻害する訓練条件は何か？

主な発見

• TPDN は、木構造ベースのオートエンコーダには木の位置役割、単方向には双方向の役割など、構造感知的な役割スキームを用いて、特定の RNN アーキテクチャのエンコーディングを密接に近似できる。
• 単方向および木ベースのオートエンコーダは対応する役割スキームでよく近似されるが、双方向エンコーダは検証済みのスキームで一貫して良好に捕捉されない。
• 自然言語の文エンコーダ（InferSent、Skip-thought、SST、SPINN）の場合、bag-of-words の役割が強力で、時にはほぼ同等の近似を提供し、頑健な構造は限られていることを示唆する。
• デコーダのアーキテクチャは学習された表現に対してエンコーダより大きな影響を及ぼす傾向があり、木ベースのデコーダは木ベースの役割構造を生み出す。
• 明示的な構造を必要とする訓練タスク（例：非自明な順序付けや交代）は構造感知表現をより強く促進し、ソートのようなタスクは bag-of-words 表現へ傾く。