[論文レビュー] Learning to Reason with Third-Order Tensor Products

Imanol Schlag, Jürgen Schmidhuber|arXiv (Cornell University)|Nov 29, 2018

Topic Modeling被引用数 29

ひとこと要約

本稿では、3次テンソル積表現（TPR）を用いて自然言語から組み合わせ的・記号的類似の表現を学習するRNN-TPRアーキテクチャを提案する。このアーキテクチャにより、推論タスクにおける体系的一般化が可能となる。バックプロパゲーションを用いたエンドツーエンド学習により、bAbIタスクにおいて最先端の性能を達成し、特に体系的分布シフト下でも、単一タスクおよびマルチタスク設定の両方で先行モデルを上回る性能を示す。

ABSTRACT

We combine Recurrent Neural Networks with Tensor Product Representations to learn combinatorial representations of sequential data. This improves symbolic interpretation and systematic generalisation. Our architecture is trained end-to-end through gradient descent on a variety of simple natural language reasoning tasks, significantly outperforming the latest state-of-the-art models in single-task and all-tasks settings. We also augment a subset of the data such that training and test data exhibit large systematic differences and show that our approach generalises better than the previous state-of-the-art.

研究の動機と目的

• 訓練データとテストデータの間で分布が変化する状況下でも、標準的なRNNが失敗する自然言語推論（NLR）における体系的一般化の向上を目的とする。
• 微分可能なテンソル積表現（TPR）を用いて、原始的な順序付きデータから記号的で組み合わせ的な表現をエンドツーエンドで学習することを目的とする。
• 標準的なRNNが見過ごされた例の外側にまで規則を外挿できる能力に欠けるのを補うために、TPRによるエンティティと関係の分離を目的とする。
• 訓練データとテストデータに体系的な差異がある場合に、TPRを統合したRNNが、先行の最先端モデルよりも優れた一般化性能を示すかどうかを検証することを目的とする。
• 神経記号的フレームワークにおける学習済み分散表現の解釈可能性とデータ効率を調査することを目的とする。

提案手法

• 本モデルは、再帰的ニューラルネットワーク（RNN）と3次テンソル積表現（TPR）を組み合わせ、エンティティ・関係の束縛といった記号的構造を連続的ベクトル空間に埋め込む。
• 各文は、エンティティ（フィラー）と関係（ロール）の成分に分解され、それぞれ別々のベクトル空間に符号化される。
• TPR表現は、フィラーとロールのベクトルのテンソル積によって構成され、'Maryは人間である'や'Danielがミルクを持っている'といった束縛を符号化する重ね合わせを形成する。
• システムは、アンバインディングベクトルとの内積を用いて、特定の成分（例：誰が何を持っているか）を復元する微分可能なアンバインディング操作を用いる。
• 全アーキテクチャは、RTRL方式の計算を用いて、TPR機構における複雑で時間的に変化する変数を扱う勾配を計算することで、バックプロパゲーション・スル・タイムを用いてエンドツーエンドで学習される。
• 本アーキテクチャは、高速なウェイトメモリにインspiredされ、メモリへのアクセスに対して動的かつ注意的制御を可能にし、メモリ容量と推論能力を向上させる。

実験結果

リサーチクエスチョン

• RQ1 微分可能でエンドツーエンドでトレーニング可能なRNN-TPRモデルは、自然言語推論における体系的一般化を支える組み合わせ的表現を学習できるか？
• RQ2 テスト例にトレーニング時に見なかったエンティティ・タスクの組み合わせが含まれる体系的分布シフト下で、TPRベースのアーキテクチャはどのように性能を発揮するか？
• RQ3 学習済み表現がどの程度解釈可能で分離可能であり、訓練データを超えた規則的推論を可能にするか？
• RQ4 TPRをRNNに統合することで、bAbIのようなベンチマークNLRタスクにおける性能が、先行の最先端モデルを上回るか？
• RQ5 3次TPRやアンバインディング機構といったアーキテクチャ設計の選択が、モデルの安定性と学習効率に与える影響は何か？

主な発見

• 提案されたRNN-TPRモデルは、bAbIベンチマークで最先端の性能を達成し、単一タスクおよび全タスク評価設定の両方で、先行のSOTAモデルを上回った。
• トレーニング時に見なかったエンティティ・タスクのペアを含む体系的分布シフトを伴うタスクでは、本モデルは先行モデルよりも顕著に優れた一般化性能を示し、強力な規則的外挿能力を示している。
• 未学習のエンティティ・タスクの組み合わせに対しても、平均90％以上の高い正確性を維持しており、エンティティと関係の分離された表現のおかげで、強い体系的一般化能力を示している。
• 学習済み表現の分析から、TPRは解釈可能で組み合わせ的な構造を生成し、モジュール式の推論とデータ効率を支えることがわかった。
• 訓練データに特定のエンティティ・タスクのペアが含まれない場合でも、モデルは安定性と高い性能を維持しており、特定の例を記憶するのではなく、一般化可能な記号的パターンを学習していることが確認された。
• TPR機構によるメモリおよび計算コストの増加にもかかわらず、モデルの性能向上と解釈可能性の両方が、組み合わせ的推論タスクにおけるその使用を正当化する。