[論文レビュー] Recurrent Relational Networks for complex relational reasoning

Rasmus Palm, Ulrich Paquet+1 more|arXiv (Cornell University)|Nov 21, 2017

Image Retrieval and Classification Techniques参考文献 14被引用数 23

ひとこと要約

本稿では、再帰性を組み込むことで多段階の関係的推論を可能にする、深層学習における関係的推論を強化するニューラルアーキテクチャ、再帰的関係ネットワーク（RRN）を紹介する。このモデルは、複雑な推論タスクにおいて最先端の性能を達成し、最も難しいスゥドク우パズルの96.6％を解き、BaBi QAデータセットの20タスク中19タスクをクリアするなど、従来の関係的ネットワークを大きく上回っている。

ABSTRACT

Humans possess an ability to abstractly reason about objects and their interactions, an ability not shared with state-of-the-art deep learning models. Relational networks, introduced by Santoro et al. (2017), add the capacity for relational reasoning to deep neural networks, but are limited in the complexity of the reasoning tasks they can address. We introduce recurrent relational networks which increase the suite of solvable tasks to those that require an order of magnitude more steps of relational reasoning. We use recurrent relational networks to solve Sudoku puzzles and achieve state-of-the-art results by solving 96.6% of the hardest Sudoku puzzles, where relational networks fail to solve any. We also apply our model to the BaBi textual QA dataset solving 19/20 tasks which is competitive with state-of-the-art sparse differentiable neural computers. The recurrent relational network is a general purpose module that can augment any neural network model with the capacity to do many-step relational reasoning.

研究の動機と目的

• 既存の関係的ネットワークが複雑で多段階の推論タスクを処理する能力に制限を受ける問題に対処すること。
• ニューラルネットワークの推論能力を単一ステップの関係的推論を超えて拡張すること。
• 深層学習モデルがオブジェクトの相互作用や関係性について抽象的で反復的な推論を実行できるようにすること。
• あらゆるニューラルネットワークに統合可能な汎用モジュールを構築すること。

提案手法

• モデルは、複数の時間ステップにわたり関係表現を反復的に改善できる再帰的メカニズムを関係的ネットワークに拡張している。
• メッセージ伝達に基づいてエンティティ間で更新される、微分可能な再帰ユニットを用いている。
• 推論ステップに応じて進化する関係的知識を保持する隠れ状態を維持している。
• 各推論ステップで関連するオブジェクトペアに注目する注目メカニズムを採用している。
• 入力をオブジェクトと関係の集合として処理し、反復的なメッセージ伝達によって表現を更新している。
• 固定回数の再帰ステップを経て最終予測を生成するため、深層的な関係的推論が可能になっている。

実験結果

リサーチクエスチョン

• RQ1 再帰的アーキテクチャは、単一ステップの推論を超えて関係的ネットワークの推論深度を向上させることができるか？
• RQ2 再帰的関係的ネットワークは、スゥドクウのような複雑で多段階の推論タスクをどれほど効果的に解けるか？
• RQ3 このモデルは、BaBiデータセットにおけるテキストベースの質問応答のような多様な推論タスクに一般化できるか？
• RQ4 ベンチマーク推論タスクにおいて、再帰的関係的ネットワークの性能は最先端モデルと比べてどうか？
• RQ5 再帰性が、抽象的で反復的な推論パターンを学習する能力をどの程度向上させるか？

主な発見

• 再帰的関係的ネットワークは、最も難しいスゥドクウパズルの96.6％を解いたが、従来の関係的ネットワークはすべてのパズルで失敗していた。
• モデルはBaBiテキストQAベンチマークでも競争力のある性能を示し、20タスク中19タスクをクリアした。
• モデルは、標準の関係的ネットワークに欠けている多段階の関係的推論を実行できる能力を示した。
• アーキテクチャは多様な推論タスクに成功裏に一般化でき、その強靭さと柔軟性を示した。
• 再帰性の統合により、単純な関係的演算を超えた複雑な推論に適した、より深い関係的推論が可能になった。
• モデルは既存の関係的ネットワークを上回り、BaBiタスクではスパarsely differentiable neural computersと同等またはそれを上回る性能を達成した。