[논문 리뷰] Scene Dynamics: Counterfactual Critic Multi-Agent Training for Scene Graph Generation.

Long Chen, Hanwang Zhang외 4명|arXiv (Cornell University)|2018. 12. 06.

Multimodal Machine Learning Applications참고 문헌 53인용 수 12

한 줄 요약

이 논문은 시각적 지오그래피 벤치마크에서 최고 성능을 내기 위해 그래프 수준 지표를 직접 최적화함으로써 시나리오 그래프 생성을 향상시키기 위해 대상을 협력적 에이전트로 모델링하는 반사적 비평가 다중에이전트 학습(CMAT)을 제안한다. 반사적 기준을 사용하여 에이전트별 보상을 할당함으로써 CMAT는 교차 엔트로피 학습에서 허브 노드와 비허브 노드 오류에 대해 동일하게 처벌하는 문제를 완화하며, Visual Genome 벤치마크에서 최신 기준 성능을 달성한다.

ABSTRACT

Scene graphs -- objects as nodes and visual relationships as edges -- describe the whereabouts and interactions of the things and stuff in an image for comprehensive scene understanding. To generate coherent scene graphs, almost all existing methods exploit the fruitful visual context by modeling message passing among objects, fitting the dynamic nature of reasoning with visual context, eg, person on bike can help to determine the relationship ride, which in turn contributes to the category confidence of the two objects. However, we argue that the scene dynamics is not properly learned by using the prevailing cross-entropy based supervised learning paradigm, which is not sensitive to graph inconsistency: errors at the hub or non-hub nodes are unfortunately penalized equally. To this end, we propose a Counterfactual critic Multi-Agent Training (CMAT) approach to resolve the mismatch. CMAT is a multi-agent policy gradient method that frames objects as cooperative agents, and then directly maximizes a graph-level metric as the reward. In particular, to assign the reward properly to each agent, CMAT uses a counterfactual baseline that disentangles the agent-specific reward by fixing the dynamics of other agents. Extensive validations on the challenging Visual Genome benchmark show that CMAT achieves a state-of-the-art by significant performance gains under various settings and metrics.

연구 동기 및 목표

• 교차 엔트로피 학습이 구조적 중요도에 관계없이 모든 예측 오류를 동일하게 처리하는 데서 비롯되는 한계를 해결하기 위해.
• 객체 관계와 객체 카테고리 예측 간의 상호의존성을 파악함으로써 시나리오 동역학을 더 효과적으로 모델링하기 위해.
• 보상 기반 프레임워크를 사용하여 시나리오 그래프 일관성을 직접 최적화함으로써 그래프 수준의 일관성을 향상시키기 위해.
• 반사적 추론을 통해 기여도를 분리함으로써 시나리오 그래프 내 개별 객체(에이전트)에 공정하고 의미 있는 신용을 부여하기 위해.
• 시나리오 수준의 추론에 기반한 정책 그래디언트 접근법을 통해 Visual Genome 벤치마크에서 최고 성능을 달성하기 위해.

제안 방법

• 이미지 내 객체는 다중에이전트 강화학습 프레임워크 내에서 협력적 에이전트로 모델링된다.
• 그래프 수준 지표가 시나리오 그래프 일관성을 최적화하기 위한 글로벌 보상 신호로 사용된다.
• 반사적 기준이 도입되어 다른 모든 에이전트의 행동을 고정함으로써 각 에이전트의 기여도를 분리한다.
• 반사적 기준은 특히 허브 노드에 대해 더 정확하고 공정한 신용 할당을 가능하게 한다.
• 반사적 기준에서 유도된 이점 신호를 사용하여 정책 그래디언트 업데이트를 수행함으로써 학습 안정성과 성능을 향상시킨다.
• 메트릭은 엔드 투 엔드로 정책 그래디언트 최적화를 통해 그래프 수준의 보상을 최대화하기 위해 학습된다.

실험 결과

연구 질문

• RQ1 객체 관계와 카테고리 간의 역동적 상호작용을 모델링함으로써 시나리오 그래프 생성은 어떻게 향상될 수 있는가?
• RQ2 반사적 보상 설계는 다중에이전트 시나리오 그래프 생성에서 신용 할당에 얼마나 기여하는가?
• RQ3 그래프 수준의 보상이 있는 정책 그래디언트 접근법은 시나리오 그래프 생성에서 표준 교차 엔트로피 지도 학습을 능가할 수 있는가?
• RQ4 CMAT는 시나리오 그래프에서 허브 노드와 비허브 노드 간 오류 민감도의 불균형을 어떻게 다루는가?
• RQ5 반사적 기준은 생성된 시나리오 그래프의 일관성과 정확성에 어떤 영향을 미치는가?

주요 결과

• CMAT는 다양한 평가 지표와 설정에서 Visual Genome 벤치마크에서 최고 성능을 달성한다.
• 보상 기반 프레임워크를 통해 시나리오 그래프 일관성을 직접 최적화함으로써 그래프 수준의 일관성이 크게 향상된다.
• 반사적 보상 설계는 더 효과적인 신용 할당을 가능하게 하여 허브 노드와 비허브 노드 오류에 대한 동일한 처벌 문제를 완화한다.
• 그래프 수준의 보상이 있는 다중에이전트 정책 그래디언트의 사용은 표준 지도 학습에 비해 더 일관성 있고 정확한 시나리오 그래프를 생성한다.
• 광범위한 아블레이션 연구는 반사적 기준이 학습 동역학과 최종 성능 향상에 효과적임을 확인한다.
• CMAT는 특히 관계 밀도가 높은 복잡한 시나리오에서 강력한 베이스라인에 비해 일관된 성능 향상을 보인다.