[논문 리뷰] Exploring Uncertainty in Conditional Multi-Modal Retrieval Systems

Ahmed Taha, Yi-Ting Chen외 3명|arXiv (Cornell University)|2019. 01. 23.

Human Pose and Action Recognition참고 문헌 52인용 수 4

한 줄 요약

이 논문은 삼중손실을 회귀 문제로 재구성하여 몬테카를로(MC) 샘플링과 드롭아웃을 통한 지식적 불확실성 추정을 가능하게 하며, 조건부 다중모달 검색에서 이를 적용한다. 다중모달 조건부 검색 네트워크를 제안하여 다양한 유형의 유사도를 분리된 임베딩으로 분리함으로써, Person Re-Identification 및 Honda Driving Dataset(HDD)를 사용한 고도로 불확실한 자율주행 시나리오에서 각각 최신 기술 수준의 성능을 달성하고, 6% 향상을 이룬다.

ABSTRACT

We cast visual retrieval as a regression problem by posing triplet loss as a regression loss. This enables epistemic uncertainty estimation using dropout as a Bayesian approximation framework in retrieval. Accordingly, Monte Carlo (MC) sampling is leveraged to boost retrieval performance. Our approach is evaluated on two applications: person re-identification and autonomous car driving. Comparable state-of-the-art results are achieved on multiple datasets for the former application. We leverage the Honda driving dataset (HDD) for autonomous car driving application. It provides multiple modalities and similarity notions for ego-motion action understanding. Hence, we present a multi-modal conditional retrieval network. It disentangles embeddings into separate representations to encode different similarities. This form of joint learning eliminates the need to train multiple independent networks without any performance degradation. Quantitative evaluation highlights our approach competence, achieving 6% improvement in a highly uncertain environment.

연구 동기 및 목표

• 검색 시스템에서 불확실성 추정을 가능하게 하기 위해 순서 손실을 회귀 문제로 재구성하는 것.
• 몬테카를로 샘플링을 통해 고도로 불확실한 환경(예: 자율주행)에서 검색 성능을 향상시키는 것.
• 다양한 유사도 개념(예: 목표 지향적 행동 대비 자극 유도 행동)을 동시에 학습할 수 있는 다중모달 조건부 검색 프레임워크를 개발하는 것.
• 각 유사도 유형에 대해 별도의 네트워크를 훈련시키는 대신, 여러 유사도 유형 간에 표현 학습을 공유하여 계산 비용을 줄이고 일반화 성능를 향상시키는 것.
• 본 방법을 인물 재식별 및 자율주행 태스크 모두에 적용하여 불확실한 조건에서도 강건성과 성능 향상을 입증하는 것.

제안 방법

• 드롭아웃에 의한 베이지안 근사가 가능하도록 삼중손실을 회귀 손실로 재구성하여 지식적 불확실성 추정을 가능하게 한다.
• 추론 시에 다중 forward pass를 수행하며 드롭아웃을 활성화하여 몬테카를로(MC) 샘플링을 적용하고, 예측을 집계함으로써 불확실성을 감소시킨다.
• 다양한 유사도 유형을 위한 별도의 표현으로 분리하기 위해, 융합된 다중모달 임베딩(예: 카메라 및 CAN 센서 데이터)을 분리하는 조건부 유사도 네트워크(CSN)를 사용한다.
• 모달별 특징을 평균 융합한 후, 각 유사도 유형에 맞는 가중치 마스크를 적용하여 조건부 검색을 수행한다.
• 시간적 검색 작업에서 순서 모델링 전반에 걸쳐 불확실성 추정을 유지하기 위해 RNN 레이어에 DropoutWrapper를 활용한다.
• 표준 backpropagation를 사용하여 엔드 투 엔드 훈련을 수행하며, 가중치 정규화를 적용하고, MC 드롭아웃 추론를 통해 불확실성 정량화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 삼중손실이 검색 시스템에서 불확실성 추정이 가능하도록 효과적으로 회귀 문제로 재구성될 수 있는가?
• RQ2 드롭아웃을 통한 몬테카를로 샘플링이 자율주행과 같은 고도로 불확실한 환경에서 검색 성능을 어떻게 향상시키는가?
• RQ3 단일 다중모달 조건부 검색 네트워크가 성능 저하 없이 목표 지향적 행동과 자극 유도 행동과 같은 다양한 유사도 유형을 동시에 학습할 수 있는가?
• RQ4 MC 드롭아웃을 통한 불확실성 추정은 '정지 신호 대기'와 '정체로 인한 정지'와 같은 모호하거나 노이즈가 많은 행동에서 검색 정확도를 얼마나 향상시키는가?
• RQ5 유사도 유형 간에 표현 학습을 공유함으로써 계산 비용을 줄일 수 있으며, 독립 모델 대비 성능을 유지하거나 향상시킬 수 있는가?

주요 결과

• 제안된 방법은 Market-1501 및 DukeMTMC-reID 인물 재식별 데이터셋에서 최신 기술 수준의 성능을 유사하게 달성한다.
• Honda Driving Dataset(HDD)에서, 고도로 불확실한 환경에서 검색 성능이 6% 향상된다.
• 자극 유도 행동에 대해서는 100개의 샘플을 사용한 MC 샘플링으로 매크로 mAP가 기준값 40.61에서 45.13으로 상승하며, 특히 '정체로 인한 정지'와 같은 고도로 불확실한 행동에서 가장 큰 성과를 보인다(71.63에서 80.35 mAP로 상승).
• 상위 두 개의 검색 결과는 조도 변화에 대해 강건하며 환경 레이아웃을 유지하므로, 학습된 임베딩의 강력한 일반화성과 의미 일관성을 보여준다.
• 본 방법은 '정지 신호 대기'와 '정체로 인한 정지'와 같은 모호한 행동에서 뛰어난 성능을 보이며, 이는 시각적 단서가 유사 행동을 구분하는 데 핵심적이라는 것을 시사한다.
• MC 샘플링의 사용은 추가 모델 파rameter나 훈련 없이도 성능 향상을 가져오며, 특히 고도로 불확실한 시나리오에서 두드러진 성과를 보이지만, 추론 시간이 증가하는 비용이 수반된다.