[논문 리뷰] VideoNavQA: Bridging the Gap between Visual and Embodied Question Answering

Cătălina Cangea, Eugene Belilovsky외 2명|arXiv (Cornell University)|2019. 08. 14.

Multimodal Machine Learning Applications참고 문헌 42인용 수 10

한 줄 요약

이 논문은 3D 환경에서 고품질의 비디오 트레이ector리 제공를 통해 몸체화된 질의응답(EQA)에서 시각적 추론과 주행을 분리함으로써 새로운 벤치마크인 VideoNavQA를 소개한다. 복잡하고 다양한 질문들에 대해 최신 VQA 모델들을 평가한 결과, 최적의 주행 조건에서도 시각적 추론이 여전히 큰 과제로 남아 있음을 보여주며, 최고 성능 모델이 전체 테스트 세트에서 64.47%의 정확도를 기록했다.

ABSTRACT

Embodied Question Answering (EQA) is a recently proposed task, where an agent is placed in a rich 3D environment and must act based solely on its egocentric input to answer a given question. The desired outcome is that the agent learns to combine capabilities such as scene understanding, navigation and language understanding in order to perform complex reasoning in the visual world. However, initial advancements combining standard vision and language methods with imitation and reinforcement learning algorithms have shown EQA might be too complex and challenging for these techniques. In order to investigate the feasibility of EQA-type tasks, we build the VideoNavQA dataset that contains pairs of questions and videos generated in the House3D environment. The goal of this dataset is to assess question-answering performance from nearly-ideal navigation paths, while considering a much more complete variety of questions than current instantiations of the EQA task. We investigate several models, adapted from popular VQA methods, on this new benchmark. This establishes an initial understanding of how well VQA-style methods can perform within this novel EQA paradigm.

연구 동기 및 목표

• 주행 과제가 단순화된 상황에서 현재의 VQA 방법이 풍부하고 동적인 3D 환경에서 복잡한 시각적 추론을 어떻게 처리할 수 있는지 조사하기 위해.
• 주행을 시각적 추론에서 분리함으로써 몸체화된 질의응답(EQA)의 성능 기준을 수립하기 위해.
• 다양하고 고품질의 비디오 기반 데이터셋을 사용하여 이상적인 조건에서 EQA의 실현 가능성을 평가하기 위해.
• 비디오 스트림에서 복잡하고 다단계 추론 작업에 가장 잘 일반화되는 VQA 아키텍처를 특정하기 위해.

제안 방법

• VideoNavQA 데이터셋은 House3D 환경을 사용하여 거의 최적의 주행 경로를 가진 비디오 트레이잭터리를 생성함으로써 구성된다.
• 각 데이터 샘플은 제1인칭 시점에서 촬영한 비디오 클립과 그 시각적 내용에 관한 자연어 질문으로 구성된다.
• 존재, 수량 세기, 색상, 위치, 비교 등 8개 카테고리에 걸쳐 총 28종의 질문 유형이 정의된다.
• LSTM, BoW, Concat-CNN2D/3D, FiLM-GP/AT, 다단계 추론, MAC 네트워크 등 다양한 VQA 모델들이 데이터셋에 맞게 미세조정된다.
• 표준 VQA 평가 지표를 사용하여 성능을 평가하며, 이는 이진 질문(예/아니요), 개방형 질문(기타), 수치 질문(수치) 유형의 정확도를 포함한다.
• 질문 카테고리별로 성능을 분석하여 특정 추론 하위 작업에서의 모델의 강점과 약점을 평가한다.

실험 결과

연구 질문

• RQ1 EQA 과제에서 주행 과제를 제거한 상황에서 기존의 VQA 모델들이 복잡한 시각적 추론 과제에서 뛰어난 성능을 내는가?
• RQ2 3D 비디오 환경에서 다양한 유형의 시각적 추론 질문에 대해 VQA 모델의 성능는 어떻게 변화하는가?
• RQ3 이 새로운 벤치마크에서 언어 전용 모델과 시각-언어 모델 간의 성능 격차는 어느 정도인가?
• RQ4 어느 모델 아키텍처가 비디오 기반 추론에서 시공간적 맥락을 가장 효과적으로 포착하는가?
• RQ5 시각 입력의 품질(즉, 최적의 경로)이 주행 과제 없이 시각적 추론을 얼마나 향상시키는가?

주요 결과

• 최고 성능 모델인 Concat-CNN2D는 전체 VideoNavQA 테스트 세트에서 64.47%의 정확도를 기록했으며, 베이스라인 BoW 모델(49.02%)보다 뚜렷이 높았다.
• FiLM-AT 및 FiLM-GP 모델은 각각 64.08%와 63.79%의 정확도를 기록하여 복잡한 추론 과제에서 뛰어난 성능을 보였다.
• MAC 네트워크는 물체 위치 및 수량 세기 질문에서 최고 성능을 보이며 50% 이상의 정확도를 기록했으며, 색상 식별 과제에서도 다른 모델들을 압도했다.
• 모든 모델이 존재 질문에서 가장 높은 점수(70% 이상의 정확도)를 기록했고, 물체 유형 식별 과제가 가장 도전적인 카테고리로 남아 있었다.
• 시간적 다단계 추론 모델은 LSTM보다 7% 높은 성능을 기록했으며, 63.53%의 정확도를 기록하여 순차적 시각 입력에 대한 추론 능력 향상을 보였다.
• Concat-CNN2D는 예/아니요 질문 유형에서 73.50%, 기타 질문 유형에서 49.20%의 정확도를 기록하여 이진 질문과 개방형 질의에 걸쳐 뛰어난 일반화 능력을 보였다.