[論文レビュー] Counterfactual Critic Multi-Agent Training for Scene Graph Generation

Long Chen, Hanwang Zhang+4 more|arXiv (Cornell University)|Dec 6, 2018

Multimodal Machine Learning Applications参考文献 87被引用数 19

ひとこと要約

本稿では、グラフレベルの指標（例：Recall@K）を直接最適化する方策勾配を用いたポリシー最適化により、シーングラフ生成のための新規なマルチエージェント強化学習フレームワーク、Counterfactual Critic Multi-Agent Training（CMAT）を提案する。対象物を協力的エージェントとしてモデル化し、局所的でエージェント固有の報酬を割り当てるための反事後ベースラインを採用することで、Visual Genomeベンチマークにおいて最先端の性能を達成し、特にオブジェクト分類の分野で3.4–4.3%の絶対的向上を達成した。

ABSTRACT

Scene graphs -- objects as nodes and visual relationships as edges -- describe the whereabouts and interactions of the things and stuff in an image for comprehensive scene understanding. To generate coherent scene graphs, almost all existing methods exploit the fruitful visual context by modeling message passing among objects, fitting the dynamic nature of reasoning with visual context, eg, "person" on "bike" can help to determine the relationship "ride", which in turn contributes to the category confidence of the two objects. However, we argue that the scene dynamics is not properly learned by using the prevailing cross-entropy based supervised learning paradigm, which is not sensitive to graph inconsistency: errors at the hub or non-hub nodes are unfortunately penalized equally. To this end, we propose a Counterfactual critic Multi-Agent Training (CMAT) approach to resolve the mismatch. CMAT is a multi-agent policy gradient method that frames objects as cooperative agents, and then directly maximizes a graph-level metric as the reward. In particular, to assign the reward properly to each agent, CMAT uses a counterfactual baseline that disentangles the agent-specific reward by fixing the dynamics of other agents. Extensive validations on the challenging Visual Genome benchmark show that CMAT achieves a state-of-the-art by significant performance gains under various settings and metrics.

研究の動機と目的

• クロスエントロピー損失の限界を是正すること。具体的には、グラフ全体の整合性を捉えられず、ノードの重要度に関係なく誤差を均等にペナルティ化する点。
• 全体のシーングラフの整合性を評価する「グラフ整合性」であり、かつ各オブジェクト予測に対して意味のある個別報酬を割り当てる「局所的感度」を持つ訓練目的を設計すること。
• メッセージ伝達モデルにおける有効な訓練信号の欠如を克服するため、全グローバル報酬に対する各エージェントの寄与を分離する反事後ベースラインを導入すること。
• 視覚的文脈を活用して、オブジェクトが協力的に自身のクラスと関係性を予測するマルチエージェント学習を可能にし、全体のシーングラフの整合性を向上させること。

提案手法

• 画像内のオブジェクトを協力的エージェントとしてモデル化し、各エージェントは自身のオブジェクトクラスラベルを予測する責任を負う。
• 複数ラウンドにわたり、ペアワイズの視覚的特徴を介してエージェント間で通信を行い、文脈的情報を統合するメッセージ伝達を実現する。
• 視覚的関係モデルがコーチとして機能し、生成された全シーングラフを正例と比較してグラフレベルの報酬（例：Recall@K や SPICE）を評価する。
• 非微分可能なグラフレベル報酬を最適化するために方策勾配法を用い、エンドツーエンドの学習を可能にする。
• 反事後ベースラインは、他のすべてのエージェントの予測を固定し、唯一のエージェントの予測のみを変化させた際の報酬変化を測定することで算出される。これにより局所的感度が実現される。
• 反事後ベースラインは個々のエージェントの寄与を分離し、グローバルプーリングや単純なベースラインよりも、より効果的かつ焦点を絞った訓練信号を提供する。

実験結果

リサーチクエスチョン

• RQ1 マルチエージェント強化学習フレームワークを用いることで、Recall@K などのグラフレベル指標を直接最適化することで、シーングラフ生成の性能向上が図れるか？
• RQ2 各オブジェクト予測に対する意味のある勾配信号を得るために、訓練目的を「グラフ整合性」と「局所的感度」の両方を満たすように設計できるか？
• RQ3 平均エージェント（MA）やスパースコントラスト（SC）のような標準ベースラインと比較して、反事後ベースラインは訓練信号の質を向上させるか？
• RQ4 CMATは、クロスエントロピーに基づく教師あり手法と比較して、シーングラフ生成ベンチマークでどの程度優れているか？
• RQ5 CMATは、グラフ制約あり・なしの両方の設定に一般化可能であり、オブジェクト分類と関係性予測の両方の性能を向上させられるか？

主な発見

• CMATは、SGCls、PredCls、SGDetのすべての評価指標において、Visual Genomeベンチマークで最先端の性能を達成した。
• グラフ制約ありの設定ではオブジェクト分類（SGCls）が3.4%の絶対的向上を示し、制約なしの設定では4.3%の向上を達成した。
• 反事後ベースラインは、平均エージェント（MA）およびスパースコントラスト（SC）ベースラインを著しく上回り、優れた局所的感度と訓練信号の質を示した。
• CMATは、メッセージ伝達モデルに一般的に見られる早期飽和現象を回避し、通信ステップ数を増やすことで一貫した性能向上を示した（最大5ステップまで）。
• 定性的な結果では、CMATは高影響力のハブノード（例：man, girl）の誤分類を低減し、より妥当な誤検出を検出するが、ランキングベースの評価のためRecall@Kがわずかに悪化することがある。
• このフレームワークはモジュール型であり、より強力な関係性モデルとのシームレスな統合が可能であり、互換性とスケーラビリティを示している。