[论文解读] DDRprog: A CLEVR Differentiable Dynamic Reasoning Programmer

Joseph Suárez, Justin Johnson+1 more|arXiv (Cornell University)|Mar 30, 2018

Multimodal Machine Learning Applications参考文献 14被引用 26

一句话总结

DDRprog 提出了一种可微分的动态推理框架，通过递归的分叉架构联合学习程序生成与执行，实现了逻辑分支的端到端反向传播。该方法在 CLEVR 上实现最先进性能，提升了子任务的一致性与 RPN 的泛化能力，通过显式建模基于栈的推理，优于长序列上的 LSTM。

ABSTRACT

We present a novel Dynamic Differentiable Reasoning (DDR) framework for jointly learning branching programs and the functions composing them; this resolves a significant nondifferentiability inhibiting recent dynamic architectures. We apply our framework to two settings in two highly compact and data efficient architectures: DDRprog for CLEVR Visual Question Answering and DDRstack for reverse Polish notation expression evaluation. DDRprog uses a recurrent controller to jointly predict and execute modular neural programs that directly correspond to the underlying question logic; it explicitly forks subprocesses to handle logical branching. By effectively leveraging additional structural supervision, we achieve a large improvement over previous approaches in subtask consistency and a small improvement in overall accuracy. We further demonstrate the benefits of structural supervision in the RPN setting: the inclusion of a stack assumption in DDRstack allows our approach to generalize to long expressions where an LSTM fails the task.

研究动机与目标

• 解决神经推理模型中动态程序架构的不可微性问题。
• 实现递归控制器的端到端训练，以按顺序预测并执行模块化程序。
• 将结构化监督（如栈行为、逻辑分支）引入神经网络，以提升推理泛化能力。
• 证明显式建模离散数据结构（如栈、树）可超越隐式学习，提升性能与可扩展性。
• 通过可微分的分叉与状态管理，将离散逻辑与深度学习结合，实现神经网络中的高层推理。

提出的方法

• 一个递归控制器预测下一个程序模块并立即执行，从而在预测到执行之间建立可微路径。
• 一种新颖的分叉机制通过保存网络状态栈来处理逻辑分支与树状推理。
• 程序模块为可微函数，作用于视觉与文本特征，梯度可反向传播至模块选择与执行过程。
• 框架利用 CLEVR 的程序标注提供结构化监督，显式将问题逻辑建模为可执行程序。
• DDRstack 扩展了该框架，通过将栈行为直接嵌入架构，用于评估逆波兰表示法（RPN）表达式。
• 模型使用 Adam 优化器进行端到端训练，学习率为 1e-3，通过最小化预测答案的 L1 损失进行优化。

实验结果

研究问题

• RQ1 神经网络能否以可微方式联合学习预测与执行模块化程序？
• RQ2 显式结构化监督（如栈行为）如何提升推理任务中的泛化能力？
• RQ3 可微分的分叉机制能否有效处理视觉问答中的逻辑分支？
• RQ4 在循环模型中，显式引入离散数据结构假设（如栈）是否能带来优于隐式学习的性能与泛化能力？
• RQ5 紧凑的可微分架构能否在复杂推理任务（如 RPN）中超越更大规模的非可微基线模型？

主要发现

• DDRprog 提升了 CLEVR 上的子任务一致性，Count 任务准确率达到 96.5%（较之前提升至 94.5%），Compare Integer 任务达到 98.4%（较之前提升至 93.8%）。
• DDRprog 在 CLEVR 上实现最先进性能，且模型规模极小（仅 17k 参数），远小于先前方法。
• DDRstack 在更长的 RPN 序列（n=30）上表现出良好泛化能力，而标准 LSTM 基线在 n>10 后迅速失效并出现误差急剧上升。
• LSTM 基线在 n=10 序列上的测试 L1 误差为 0.28，而 DDRstack 仅 0.17，且模型更小，同时在 n=30 上实现平滑泛化。
• 从 n=6 到 n=10，LSTM 与 DDRstack 的性能差距显著扩大，表明 LSTM 未能学习到底层的栈结构。
• DDRstack 在序列长度递增时保持平滑的泛化曲线，证实显式栈建模可实现鲁棒泛化，而 LSTM 仅记忆短子问题。