[論文レビュー] Scene Dynamics: Counterfactual Critic Multi-Agent Training for Scene Graph Generation.

Long Chen, Hanwang Zhang+4 more|arXiv (Cornell University)|Dec 6, 2018

Multimodal Machine Learning Applications参考文献 53被引用数 12

ひとこと要約

本稿では、シーングラフ生成を直接的にグラフレベルの指標で最適化することで、視覚的グラフの品質を向上させるため、反事後的批判者を用いたマルチエージェント訓練（CMAT）を提案する。CMATは、反事後的ベースラインを用いてエージェントごとの報酬を割り当てることで、交差エントロピー学習におけるハブノードと非ハブノードの誤りに対する等価なペナルティを軽減し、Visual Genomeベンチマークで最先端の性能を達成する。

ABSTRACT

Scene graphs -- objects as nodes and visual relationships as edges -- describe the whereabouts and interactions of the things and stuff in an image for comprehensive scene understanding. To generate coherent scene graphs, almost all existing methods exploit the fruitful visual context by modeling message passing among objects, fitting the dynamic nature of reasoning with visual context, eg, person on bike can help to determine the relationship ride, which in turn contributes to the category confidence of the two objects. However, we argue that the scene dynamics is not properly learned by using the prevailing cross-entropy based supervised learning paradigm, which is not sensitive to graph inconsistency: errors at the hub or non-hub nodes are unfortunately penalized equally. To this end, we propose a Counterfactual critic Multi-Agent Training (CMAT) approach to resolve the mismatch. CMAT is a multi-agent policy gradient method that frames objects as cooperative agents, and then directly maximizes a graph-level metric as the reward. In particular, to assign the reward properly to each agent, CMAT uses a counterfactual baseline that disentangles the agent-specific reward by fixing the dynamics of other agents. Extensive validations on the challenging Visual Genome benchmark show that CMAT achieves a state-of-the-art by significant performance gains under various settings and metrics.

研究の動機と目的

• 交差エントロピー学習における制限を是正するため、構造的重要性に関係なくすべての予測誤差を等しく扱うという問題を解消すること。
• オブジェクト関係とオブジェクトカテゴリ予測の相関関係を捉えることで、シーンのダイナミクスをより効果的にモデル化すること。
• 報酬ベースのフレームワークを用いて、シーングラフの一貫性を直接最適化することで、グラフレベルの整合性を向上させること。
• 反事後的推論を用いて寄与度を分離することで、個々のオブジェクト（エージェント）に公平で意味のある報酬を割り当てること。
• シーンレベルの推論に基づく方策勾配アプローチにより、Visual Genomeベンチマークで最先端の性能を達成すること。

提案手法

• 画像内のオブジェクトを、マルチエージェント強化学習フレームワーク内の協力的エージェントとしてモデル化する。
• グラフレベルの指標をグローバルな報酬信号として用い、シーングラフの整合性を最適化する。
• 反事後的ベースラインを導入し、他のすべてのエージェントの行動を固定することで、各エージェントの寄与度を分離する。
• 反事後的ベースラインにより、特にハブノードに対して、より正確で公平な報酬割り当てが可能になる。
• 方策勾配の更新は、反事後的ベースラインから導出されるアドバンテージ信号を用いて行い、学習の安定性と性能を向上させる。
• エンドツーエンドで方策勾配最適化を用いて、グラフレベルの報酬を最大化するように学習する。

実験結果

リサーチクエスチョン

• RQ1 オブジェクト関係とカテゴリ予測の動的相互作用をモデル化することで、どのようにシーングラフ生成が向上するか？
• RQ2 反事後的報酬設計は、マルチエージェントシーングラフ生成における報酬割り当てにどの程度効果をもたらすか？
• RQ3 グラフレベルの報酬を用いた方策勾配アプローチは、標準的な交差エントロピー教師あり学習を上回る性能を発揮できるか？
• RQ4 CMATは、シーングラフにおけるハブノードと非ハブノードの誤り感受性の不均衡をどのように処理するか？
• RQ5 反事後的ベースラインは、生成されたシーングラフの一貫性と正確性にどのような影響を及えるか？

主な発見

• CMATは、複数の評価指標および設定において、Visual Genomeベンチマークで最先端の性能を達成した。
• 報酬ベースのフレームワークを用いてシーングラフの一貫性を直接最適化することで、グラフレベルの整合性が著しく向上した。
• 反事後的報酬設計により、ハブノードと非ハブノードの誤りに対する等価なペナルティが軽減され、より効果的な報酬割り当てが実現した。
• グラフレベルの報酬を用いたマルチエージェント方策勾配により、標準的な教師あり学習に比べて、より整合的で正確なシーングラフが生成された。
• 広範なアブレーションスタディにより、反事後的ベースラインが学習ダイナミクスと最終的性能の向上に有効であることが確認された。
• 特に関係性密度の高い複雑なシーンにおいて、CMATは強力なベースラインを一貫して上回る成果を示した。