[논문 리뷰] NuScenes-QA: A Multi-modal Visual Question Answering Benchmark for Autonomous Driving Scenario

Tianwen Qian, Jingjing Chen외 3명|arXiv (Cornell University)|2023. 05. 24.

Multimodal Machine Learning Applications인용 수 4

한 줄 요약

이 논문은 자율주행을 위한 첫 번째 대규모 다중 모odal 시각질문응답 벤치마크인 NuScenes-QA를 소개한다. 이는 34,000개의 시나리오와 460,000개의 질문-답변 쌍을 활용하며, scene graphs와 수작업으로 작성된 템플릿을 통해 nuScenes에서 유도된 것이다. 이 벤치마크는 다중 프레임, 다중 모달(이미지 및 LiDAR) 데이터를 통합하며, 복잡한 공간적 및 동적 추론 능력을 평가한다. 제거 분석 결과, 정답 경계상자(ground-truth bounding boxes)는 성능을 크게 향상시키지만, 탐지된 경계상자는 탐지 노이즈로 인해 성능을 떨어뜨릴 수 있음을 보여준다.

ABSTRACT

We introduce a novel visual question answering (VQA) task in the context of autonomous driving, aiming to answer natural language questions based on street-view clues. Compared to traditional VQA tasks, VQA in autonomous driving scenario presents more challenges. Firstly, the raw visual data are multi-modal, including images and point clouds captured by camera and LiDAR, respectively. Secondly, the data are multi-frame due to the continuous, real-time acquisition. Thirdly, the outdoor scenes exhibit both moving foreground and static background. Existing VQA benchmarks fail to adequately address these complexities. To bridge this gap, we propose NuScenes-QA, the first benchmark for VQA in the autonomous driving scenario, encompassing 34K visual scenes and 460K question-answer pairs. Specifically, we leverage existing 3D detection annotations to generate scene graphs and design question templates manually. Subsequently, the question-answer pairs are generated programmatically based on these templates. Comprehensive statistics prove that our NuScenes-QA is a balanced large-scale benchmark with diverse question formats. Built upon it, we develop a series of baselines that employ advanced 3D detection and VQA techniques. Our extensive experiments highlight the challenges posed by this new task. Codes and dataset are available at https://github.com/qiantianwen/NuScenes-QA.

연구 동기 및 목표

• 자율주행 시나리오에 특화된 대규모, 다중 모달, 다중 프레임 VQA 벤치마크의 부족을 보완하기 위해.
• 기존의 VQA 벤치마크와 자율주행 차량의 도로 수준 인식에서 요구하는 실제 복잡한 환경 간 격차를 메우기 위해.
• 3D 탐지 애너테이션에서 유래한 다양한, 균형 잡힌, 현실적인 VQA 데이터를 생성하기 위한 확장 가능한 프로그래밍 기반 파이프라인을 개발하기 위해.
• 외부 환경에서 동적인 주행 환경에서의 다중 모달, 다중 프레임 VQA 모델 평가 및 발전을 위한 기반을 마련하기 위해.

제안 방법

• nuScenes의 3D 경계상자 애너테이션에서 시나리오 그래프를 구축하여, 객체를 노드로, 공간적 관계를 간선으로 표현한다.
• 속성, 객체, 관계에 대한 파라미터를 사용하여 존재 여부, 수량, 비교, 속성 기반 질의를 다루는 질문 템플릿 세트를 설계한다.
• 시나리오 그래프에서 파라미터를 샘플링하고 기하학적 및 공간적 추론을 통해 정답을 유추함으로써 프로그래밍적으로 질문-답변 쌍을 생성한다.
• 2D 이미지와 3D 포인트 클라우드를 융합하는 다중 모달 융합 프레임워크를 활용하며, BEV(Bird's Eye View) 특징 추출 및 기울인 RoI 풀링을 통해 공간적으로 정확한 특징 자르기 기법을 적용한다.
• 자르기된 BEV 특징에 대해 평균 풀링을 적용하여 구조적 정보를 유지하며, 공간 추론 작업에서 최대 풀링보다 뛰어난 성능을 보인다.
• 3D 탐지 모델(예: CenterPoint)과 VQA 헤드(예: MCAN)를 통합하여 강력한 베이스라인을 구축하고, 정답 경계상자와 예측된 경계상자의 영향을 평가한다.

실험 결과

연구 질문

• RQ1 자율주행 시나리오에서 정답 3D 경계상자와 탐지된 3D 경계상자를 사용할 경우 VQA 모델의 성능은 어떻게 달라지는가?
• RQ2 카메라와 LiDAR 데이터의 다중 모달 융합이 복잡한 도로 환경의 VQA 정확도에 어느 정도 기여하는가?
• RQ3 다양한 특징 자르기 및 풀링 전략은 BEV 기반 VQA 시스템에서 모델 성능에 어떤 영향을 미치는가?
• RQ4 시나리오 그래프 기반 템플릿 기반 데이터 생성 방식은 VQA 질문 형식의 다양성과 균형에 어떤 영향을 미치는가?
• RQ5 기존의 2D 및 3D VQA 모델은 다중 프레임, 실외, 동적인 주행 환경에 일반화 가능한가, 아니면 새로운 아키텍처가 필요한가?

주요 결과

• 정답 3D 경계상자를 사용할 경우 VQA 정확도가 70.8%에서 84.3%로 향상되어 공간 추론에서의 핵심적 역할을 입증한다.
• 탐지된 3D 경계상자는 현재 3D 탐지 모델의 노이즈로 인해 성능을 약 0.6% 정도 낮춘다.
• 기울인 박스 기반 특징 자르기는 둘러싸는 직사각형 자르기보다 전체 정확도에서 0.8% 높은 성능을 보이며, 버스나 트럭처럼 길쭉한 물체에 특히 유리하다.
• 자르기된 BEV 특징에 대해 평균 풀링을 적용할 경우 최대 풀링보다 0.6% 높은 정확도를 기록하여 구조적 특징의 보존이 더 잘 이루어짐을 시사한다.
• 제안된 NuScenes-QA 벤치마크는 34,000개의 시나리오와 460,000개의 질문-답변 쌍을 포함하며, 훈련용 377,000개, 테스트용 83,000개로 구성되어 있어 질문 유형의 광범위한 커버리지가 보장된다.
• 벤치마크는 다중 모달, 다중 프레임 VQA에서의 중대한 과제를 드러내며, 자율주행에서 개선된 인식 및 추론 모델의 필요성을 강조한다.