[논문 리뷰] Answering Visual What-If Questions: From Actions to Predicted Scene Descriptions

Misha Wagner, Hector Basevi외 5명|arXiv (Cornell University)|2018. 09. 11.

Multimodal Machine Learning Applications참고 문헌 24인용 수 11

한 줄 요약

이 논문은 시각적 What-If 질문(What-If Question) 이해라는 새로운 과제를 소개한다. 이 과제는 시각적 질의 응답과 물리 기반의 미래 시나리오 예측을 융합한 것으로, 저자들은 데이터 기반 질문 응답 아키텍처와 물리 엔진을 융합한 하이브리드 모델을 제안하여 새로운 테이블탑 상호작용 데이터셋(TIWIQ)에서 엔드 투 엔드 학습 기반 모델보다 뛰어난 성능을 달성한다. 특히 가정된 동작 조건에 따라 정확한 시나리오 기반 기술을 생성하는 데에 유리하다.

ABSTRACT

In-depth scene descriptions and question answering tasks have greatly increased the scope of today's definition of scene understanding. While such tasks are in principle open ended, current formulations primarily focus on describing only the current state of the scenes under consideration. In contrast, in this paper, we focus on the future states of the scenes which are also conditioned on actions. We posit this as a question answering task, where an answer has to be given about a future scene state, given observations of the current scene, and a question that includes a hypothetical action. Our solution is a hybrid model which integrates a physics engine into a question answering architecture in order to anticipate future scene states resulting from object-object interactions caused by an action. We demonstrate first results on this challenging new problem and compare to baselines, where we outperform fully data-driven end-to-end learning approaches.

연구 동기 및 목표

• 정적 장면 이해를 넘어서 가정된 행동 조건에 따라 미래 상태를 예측하는 데에 초점을 맞춘 시각적 추론의 격차를 메우기 위해.
• 모델이 현재 관찰 사항과 가정된 행동을 바탕으로 미래 장면 상태를 기술해야 하는 새로운 과제인 '시각적 What-If 질문 이해'를 정의하기 위해.
• 테이블탑 물체 상호작용에 대해 액션 조건에 따른 미래 장면 기술이 주석화된 첫 번째 데이터셋인 TIWIQ를 개발하기 위해.
• 물리 엔진을 활용해 정확한 물리적 추론을 수행하면서도 신경망을 활용해 언어 기반과 응답 생성을 수행하는 하이브리드 모델을 설계하고 평가하기 위해.
• 모델 기반 물리 시뮬레이션은 순수 데이터 기반 접근 방식에 비해 장기적이고 정성적인 미래 예측에서 일반화 능력과 정확도를 향상시킨다는 것을 입증하기 위해.

제안 방법

• 모델은 현재 장면의 이미지와 가정된 행동을 포함한 자연어 질문이 입력으로 들어오는 질문-응답 프레임워크를 사용한다.
• 행동는 행동 유형, 영향을 받는 물체, 행동 파라미터를 추출하기 위해 분석되며, 이는 물리 엔진을 통한 물체 상호작용 시뮬레이션에 사용된다.
• 물리 엔진은 물리 법칙에 기반해 물체 궤적과 상호작용을 시뮬레이션하여 장면의 예측된 미래 상태를 생성한다.
• 신경망 구성 요소는 물리 시뮬레이션 결과와 입력 질문을 바탕으로 예측된 결과의 자연어 기술을 생성한다.
• 정답 기술에 대한 약한 지도 학습을 통해 엔드 투 엔드로 훈련되며, BLEU, CIDEr, ROUGE, COM 지표를 최적화하기 위한 손실 함수가 사용된다.
• 하이브리드 아키텍처는 훈련 예제를 암기하는 대신 물리 시뮬레이션에 의존함으로써 새로운 행동과 물체 구성에 대한 일반화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 가정된 행동에 의해 유도되는 테이블탑 환경에서의 정성적 미래 장면 상태를 모델이 정확하게 예측할 수 있는가?
• RQ2 순수하게 데이터 기반 모델에 비해 물리 엔진을 통합함으로써 시각적 질문 응답에서 제로샷 일반화와 추론 능력이 어떻게 향상되는가?
• RQ3 하이브리드 모델이 인간의 직관과 실제 결과에 부합하는 자연어 기술을 얼마나 잘 생성할 수 있는가?
• RQ4 모델의 다양한 구성 요소(행동 유형, 물체, 파라미터)가 최종 예측 품질에 어떤 기여를 하는가?
• RQ5 훈련 중에 볼 수 없었던 새로운 물체 구성과 행동에 대해 모델이 일반화할 수 있는가, 특히 장기적인 물리적 상호작용이 포함된 경우에 대해 어떻게 되는가?

주요 결과

• 하이브리드 모델은 모든 평가 지표에서 완전히 데이터 기반 기반선을 능가하며, BLEU 점수 0.283, CIDEr 1.133, ROUGE 0.424, COM 0.673를 기록했다.
• 정답 행동 파라미터를 모델에 추가하면 성능 향상이 가장 크게 나타나, BLEU는 0.262에서 0.272로, COM은 0.640에서 0.662로 상승했다.
• 데이터 기반 기반선보다 더 정확하고 일관성 있는 기술을 생성했으며, 80%의 경우에서 원인을 유도하는 요소(예: '스레드 드라이버가 mustart 컨테이너를 밀고 있다')를 정확히 식별했다.
• 물리적 상호작용이 일어나지 않는 경우, 하이브리드 모델은 100%의 정확도로 '무엇도 일어나지 않는다'고 예측했지만, 데이터 기반 모델은 자주 상호작용이 발생한다고 잘못 추측했다.
• 모델은 새로운 물체 구성과 행동에 대해 뛰어난 일반화 능력을 보였으며, 기억에 의존하기보다는 물리 기반 시뮬레이션을 통해 일반화를 달성했다.
• 인간 기준과 모델 예측 간의 일치도가 높았으며, 6개 테스트 케이스 중 5개에서 하이브리드 모델이 인간의 추론과 유사한 결과를 도출했다.