[論文レビュー] DDRprog: A CLEVR Differentiable Dynamic Reasoning Programmer

Joseph Suárez, Justin Johnson+1 more|arXiv (Cornell University)|Mar 30, 2018

Multimodal Machine Learning Applications参考文献 14被引用数 26

ひとこと要約

DDRprogは、再帰的で分岐するアーキテクチャにおいて、プログラム生成と実行を同時に学習する微分可能で動的な推論フレームワークを導入し、論理的分岐を通じたエンド・ツー・エンドの誤差逆伝播を可能にした。CLEVRでは最先端の性能を達成し、サブタスクの一貫性とRPNにおける一般化性能が向上し、長文系列においてLSTMを上回った。これはスタックベースの推論を明示的にモデル化することで達成された。

ABSTRACT

We present a novel Dynamic Differentiable Reasoning (DDR) framework for jointly learning branching programs and the functions composing them; this resolves a significant nondifferentiability inhibiting recent dynamic architectures. We apply our framework to two settings in two highly compact and data efficient architectures: DDRprog for CLEVR Visual Question Answering and DDRstack for reverse Polish notation expression evaluation. DDRprog uses a recurrent controller to jointly predict and execute modular neural programs that directly correspond to the underlying question logic; it explicitly forks subprocesses to handle logical branching. By effectively leveraging additional structural supervision, we achieve a large improvement over previous approaches in subtask consistency and a small improvement in overall accuracy. We further demonstrate the benefits of structural supervision in the RPN setting: the inclusion of a stack assumption in DDRstack allows our approach to generalize to long expressions where an LSTM fails the task.

研究の動機と目的

• ニューラル推論モデルにおける動的プログラムアーキテクチャの非微分可能性を解消すること。
• 順方向制御子が順序的にモジュラープログラムを予測・実行できるエンド・ツー・エンドの学習を可能にすること。
• スタック動作や論理的分岐といった構造的教師信号をニューラルネットワークに統合し、推論の一般化性能を向上させること。
• 離散的データ構造（例：スタック、木構造）の明示的モデル化が、暗黙的学習を上回る性能とスケーラビリティをもたらすかどうかを示すこと。
• 微分可能な分岐と状態管理を統合することで、ニューラルネットワークにおけるハイレベルな推論を可能にすること。

提案手法

• 再帰的制御子が次のプログラムモジュールを予測し、直ちに実行することで、予測から実行への微分可能なパスを構築する。
• 独創的な分岐メカニズムにより、保存済みのネットワーク状態のスタックを維持し、論理的分岐や木構造的推論を処理する。
• プログラムモジュールは視覚的・言語的特徴を処理する微分可能な関数であり、モジュール選択と実行の両方に対して勾配が逆伝播される。
• フレームワークは、CLEVRのプログラムアノテーションを用いて構造的教師信号を提供し、質問論理を実行可能なプログラムとして明示的にモデル化する。
• DDRstackは、アーキテクチャにスタック動作を直接埋め込むことで、逆ポーランド記法（RPN）式の評価を可能にする。
• モデルはAdamを用いてエンド・ツー・エンドに訓練され、予測された答えのL1損失を最小化する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークは、微分可能な方法でモジュラープログラムの予測と実行を同時に学習できるか？
• RQ2 スタック動作などの明示的構造的教師信号は、推論タスクにおける一般化性能をどのように向上させるか？
• RQ3 微分可能な分岐メカニズムは、視覚的質問応答における論理的分岐の効果的処理を可能にするか？
• RQ4 スタックなどの離散的データ構造の仮定を組み込むことで、再帰的モデルにおける暗黙的学習を上回る性能と一般化が達成できるか？
• RQ5 コンactで微分可能なアーキテクチャは、RPNのような複雑な推論タスクにおいて、より大きな非微分可能なベースラインを上回れるか？

主な発見

• DDRprogはCLEVRにおけるサブタスクの一貫性を向上させ、Countタスクで96.5％（前回94.5％）の精度を達成し、Compare Integerで98.4％（前回93.8％）を記録した。
• DDRprogは、従来の手法と比較してはるかに小さなモデル（17kパラメータ）でCLEVRで最先端の性能を達成した。
• DDRstackは、長大なRPNシーケンス（n=30）に対しても効果的に一般化したが、標準的なLSTMベースラインは一般化に失敗し、n=10を超えると急激に誤差が増加した。
• LSTMベースラインはn=10シーケンスでテストL1誤差0.28を示したが、DDRstackははるかに小さなモデルで0.17を達成し、n=30まで滑らかに一般化した。
• LSTMとDDRstackの性能差は、n=6からn=10にかけて顕著に拡大し、LSTMが根本的なスタック構造を学習できていないことを示している。
• DDRstackの増加するシーケンス長における滑らかな一般化曲線は、明示的なスタックモデル化が、LSTMの短い部分問題の記憶に依存するのとは対照的に、頑健な一般化を可能にすることを裏付けている。