[论文解读] Counterfactual Critic Multi-Agent Training for Scene Graph Generation

Long Chen, Hanwang Zhang+4 more|arXiv (Cornell University)|Dec 6, 2018

Multimodal Machine Learning Applications参考文献 87被引用 19

一句话总结

本文提出了一种新型多智能体强化学习框架——反事实评论家多智能体训练（CMAT），用于场景图生成，该框架通过策略梯度直接优化图级指标（如Recall@K）。通过将物体建模为合作智能体，并采用反事实基线为每个智能体分配局部、特定于智能体的奖励，CMAT在Visual Genome基准上实现了最先进性能，尤其在物体分类方面实现了3.4–4.3%的绝对提升。

ABSTRACT

Scene graphs -- objects as nodes and visual relationships as edges -- describe the whereabouts and interactions of the things and stuff in an image for comprehensive scene understanding. To generate coherent scene graphs, almost all existing methods exploit the fruitful visual context by modeling message passing among objects, fitting the dynamic nature of reasoning with visual context, eg, "person" on "bike" can help to determine the relationship "ride", which in turn contributes to the category confidence of the two objects. However, we argue that the scene dynamics is not properly learned by using the prevailing cross-entropy based supervised learning paradigm, which is not sensitive to graph inconsistency: errors at the hub or non-hub nodes are unfortunately penalized equally. To this end, we propose a Counterfactual critic Multi-Agent Training (CMAT) approach to resolve the mismatch. CMAT is a multi-agent policy gradient method that frames objects as cooperative agents, and then directly maximizes a graph-level metric as the reward. In particular, to assign the reward properly to each agent, CMAT uses a counterfactual baseline that disentangles the agent-specific reward by fixing the dynamics of other agents. Extensive validations on the challenging Visual Genome benchmark show that CMAT achieves a state-of-the-art by significant performance gains under various settings and metrics.

研究动机与目标

• 为解决交叉熵损失在场景图生成中的局限性，该损失无法捕捉图级一致性，且对所有错误的惩罚程度相同，不考虑节点的重要性。
• 设计一种既具备图一致性——评估整个场景图的一致性——又具备局部敏感性——为每个物体预测分配有意义且个性化的奖励——的训练目标。
• 通过引入一种反事实基线，隔离每个智能体对全局奖励的贡献，从而克服消息传递模型中有效训练信号不足的问题。
• 实现合作式多智能体学习，使物体能够联合利用视觉上下文预测其类别和关系，从而提升整体场景图的一致性。

提出的方法

• 将图像中的物体建模为合作智能体，每个智能体负责预测其自身的物体类别标签。
• 智能体通过多轮次的成对视觉特征进行通信，实现消息传递以整合上下文信息。
• 视觉关系模型充当评论家，使用图级奖励（如Recall@K或SPICE）将完整生成的场景图与真实标签进行对比评估。
• 采用策略梯度方法优化不可微的图级奖励，实现端到端训练。
• 通过固定其他所有智能体的预测，仅改变单个智能体的预测，并测量奖励的变化，计算反事实基线，从而实现局部敏感性。
• 反事实基线能够解耦各个智能体的贡献，相比全局池化或简单基线，提供更有效且聚焦的训练信号。

实验结果

研究问题

• RQ1 多智能体强化学习框架是否能够通过直接优化图级指标（如Recall@K）来提升场景图生成性能？
• RQ2 如何设计一种训练目标，使其既具备图一致性又具备局部敏感性，以确保每个物体预测都能获得有意义的梯度信号？
• RQ3 与标准基线（如均值智能体或稀疏对比基线）相比，使用反事实基线是否能提升训练信号的质量？
• RQ4 CMAT在场景图生成基准上相较于基于交叉熵的监督方法，性能提升程度如何？
• RQ5 CMAT是否具备泛化能力，适用于包含和不包含图约束的不同设置，并能在物体分类和关系预测任务上提升性能？

主要发现

• CMAT在Visual Genome基准的所有评估指标上均达到最先进性能，包括SGCls、PredCls和SGDet。
• 在包含图约束的设置下，CMAT使物体分类（SGCls）性能提升3.4%的绝对值；在不包含图约束的设置下，提升达4.3%的绝对值。
• 反事实基线显著优于均值智能体（MA）和稀疏对比（SC）基线，证明其具备更优的局部敏感性和训练信号质量。
• CMAT避免了消息传递模型中常见的早期饱和问题，在增加通信步数（最多5步）时仍能持续获得性能提升。
• 定性结果表明，CMAT减少了对高影响力枢纽节点（如man、girl）的误分类，并检测到更多合理的假阳性样本，尽管由于基于排名的评估方式，这可能轻微降低Recall@K。
• 该框架具有模块化设计，可无缝集成更强的关系模型，表明其具备良好的兼容性与可扩展性。