[논문 리뷰] Giving Commands to a Self-driving Car: A Multimodal Reasoner for Visual Grounding

Thierry Deruyttere, Guillem Collell외 1명|arXiv (Cornell University)|2020. 03. 19.

Human-Automation Interaction and Safety인용 수 7

한 줄 요약

이 논문은 복잡한 실생활 시나리오에서 시각적 기반을 향상시키기 위해 영역 제안 네트워크(RPN)에서 추출한 객체 영역을 2차원 공간 메모리 텐서인 SpatialMap에 통합하는 새로운 다단계 추론 모델인 다중모odal 공간 영역 추론기(MSRR)를 제안한다. 질문의 분해된 구성 요소를 기반으로 반복적으로 영역을 평가하고 공간적 맥락을 활용함으로써, Talk2Car 데이터셋에서 최신 기술 대비 9.8%p의 절대적 정확도 향상을 달성한다.

ABSTRACT

We propose a new spatial memory module and a spatial reasoner for the Visual Grounding (VG) task. The goal of this task is to find a certain object in an image based on a given textual query. Our work focuses on integrating the regions of a Region Proposal Network (RPN) into a new multi-step reasoning model which we have named a Multimodal Spatial Region Reasoner (MSRR). The introduced model uses the object regions from an RPN as initialization of a 2D spatial memory and then implements a multi-step reasoning process scoring each region according to the query, hence why we call it a multimodal reasoner. We evaluate this new model on challenging datasets and our experiments show that our model that jointly reasons over the object regions of the image and words of the query largely improves accuracy compared to current state-of-the-art models.

연구 동기 및 목표

• 자율주행 차량에서 발생하는 것과 같은 복잡한 실생활 시각적 기반 작업에서 객체를 정확히 국소화하는 도전 과제를 해결하기 위해.
• 구조적이고 해석 가능한 방식으로 자연어 질의와 이미지 객체 영역을 동시에 고려하여 시각적 기반 성능을 향상시키기 위해.
• 객체 영역 주변의 2차원 공간 맥락을 유지하고 활용하는 공간 추론 메커니즘을 도입하여 국소화 정확도를 향상시키기 위해.
• 정련된 벤치마크(RefCOCO)와 실제 생활에서의 비정련된 데이터셋(Talk2Car) 모두에서 모델의 성능을 검증하여 강인성과 일반화 능력을 평가하기 위해.
• 다단계 추론과 공간 메모리가 복잡한 시각적 기반 시나리오에서 어떤 이점을 제공하는지 제거 실험을 통해 입증하기 위해.

제안 방법

• 모델은 객체 영역을 추출하기 위해 영역 제안 네트워크(RPN)를 사용하며, 이를 2차원 공간 메모리 텐서인 SpatialMap에 인코딩한다.
• SpatialMap은 각 객체 주변의 격자 셀에 특징 값을 할당하여 공간 정보를 저장하며, 비객체 영역의 영향을 조절하는 학습 가능한 가중치 $x_s$를 포함한다.
• MSRR는 자연어 질의의 집중된 구성 요소와의 일치도를 기반으로 반복적으로 각 객체 영역을 평가함으로써 다단계 추론을 수행한다.
• 각 추론 단계에서 모델은 질의의 특정 단어에 주의를 기울이고 해당에 따라 영역 점수를 업데이트함으로써 가장 가능성 있는 대상에 대한 점진적 개선을 가능하게 한다.
• 최종 예측은 모든 추론 단계를 거친 후 누적 점수가 가장 높은 객체 영역이다.
• 모델는 교차 엔트로피 손실을 사용하여 엔드 투 엔드로 훈련되며, IoU(교차 영역 비율) 메트릭을 사용하여 평가된다.

실험 결과

연구 질문

• RQ1 자연어 질의의 구성 요소와 이미지 객체 영역을 동시에 처리하는 다단계 추론 메커니즘이 복잡한 실생활 환경에서 시각적 기반 정확도를 향상시킬 수 있는가?
• RQ2 SpatialMap 텐서를 통해 객체 영역 주변의 2차원 공간 맥락을 통합할 경우, 공간 맥락을 忽시하는 모델과 비교해 성능에 어떤 영향을 미치는가?
• RQ3 높은 정확도를 달성하기 위해 최적의 추론 단계 수는 얼마인가?
• RQ4 다단계 추론이 불필요한 간단한 데이터셋에서는 모델의 성능이 떨어지는가?
• RQ5 객체 특징과 공간 맥락 간의 균형($x_s$로 제어됨)이 모델의 정확한 추론 능력에 어떤 영향을 미치는가?

주요 결과

• MSRR는 Talk2Car 검증 세트에서 IoU@0.5 정확도 60.29%를 달성하여 이전 최고 성능 모델 대비 9.8%p의 절대적 향상을 이룩했다.
• 제거 실험 결과, 공간 맥락을 사용할 경우($x_s = 0.5$) 정확도가 60.29%로 향상되었고, 공간 맥락을 비활성화할 경우($x_s = 0$) 정확도는 54.31%로 떨어졌다.
• 전체 공간 맥락을 사용하는 모델($x_s = 1$)은 성능이 열악하게 나타났다(7.76%), 이는 모델이 공간 맵에만 의존하기보다 객체 특징을 중심으로 추론해야 한다는 것을 확인한다.
• 10단계의 추론을 사용할 경우 평균 IoU 정확도가 최고 수준인 60.29%를 기록했으며, 단일 단계 추론(56.55%)보다 뛰어나고, 10단계 이상에서는 수익 감소 현상이 나타났다.
• 더 단순한 RefCOCO 데이터셋에서는 다단계 추론이 성능을 떨어뜨리는 것으로 나타나, MSRR가 복잡한 다중 제약 조건 기반 작업에서 가장 효과적임을 시사한다.
• 모델의 추론 과정은 투명하며, 객체 점수가 단계별로 변화함으로써 해석 가능성과 불확실성 탐지 기능을 제공한다.