[논문 리뷰] Deep Bayesian Active Learning for Multiple Correct Outputs

Khaled Jedoui, Ranjay Krishna외 2명|arXiv (Cornell University)|2019. 12. 02.

Multimodal Machine Learning Applications참고 문헌 74인용 수 10

한 줄 요약

이 논문은 출력 확률 공간이 아닌 시각적 의미 임베딩 공간에서 불확실성을 추정하는 새로운 주체 학습 프레임워크를 제안한다. 이는 다수의 정답이 가능한 VQA와 같은 작업에서 기존 불확실성 측정법의 한계를 극복한다. 이 구조화된 의미 공간에서 드롭아웃 기반 베이지안 불확실성 추정을 활용함으로써, Visual Genome와 VQA 2.0에서 각각 5배와 3배 높은 비용 효율성을 달성하면서도, 동의어 표현의 샘플링을 줄이고 샘플 효율성을 향상시킨다.

ABSTRACT

Typical active learning strategies are designed for tasks, such as classification, with the assumption that the output space is mutually exclusive. The assumption that these tasks always have exactly one correct answer has resulted in the creation of numerous uncertainty-based measurements, such as entropy and least confidence, which operate over a model's outputs. Unfortunately, many real-world vision tasks, like visual question answering and image captioning, have multiple correct answers, causing these measurements to overestimate uncertainty and sometimes perform worse than a random sampling baseline. In this paper, we propose a new paradigm that estimates uncertainty in the model's internal hidden space instead of the model's output space. We specifically study a manifestation of this problem for visual question answer generation (VQA), where the aim is not to classify the correct answer but to produce a natural language answer, given an image and a question. Our method overcomes the paraphrastic nature of language. It requires a semantic space that structures the model's output concepts and that enables the usage of techniques like dropout-based Bayesian uncertainty. We build a visual-semantic space that embeds paraphrases close together for any existing VQA model. We empirically show state-of-art active learning results on the task of VQA on two datasets, being 5 times more cost-efficient on Visual Genome and 3 times more cost-efficient on VQA 2.0.

연구 동기 및 목표

• 다수의 정답이 가능한 시각어휘 작업에 대해 기존의 불확실성 샘플링 기법이 실패하는 문제를 해결하기 위해.
• VQA에서 사용되는 모델들처럼 동의어 표현 출력으로 인한 불확실성 과대평가 문제를 해결하기 위해.
• 구조화된 시각적 의미 임베딩 공간에서의 불확실성 추정을 통해 주체 학습의 샘플 효율성을 향상시키기 위해.
• 몽테카를로 드롭아웃을 활용해 시퀀스 생성 작업에 대해 임베딩 공간에서 효과적인 베이지안 불확실성 추정을 가능하게 하기 위해.
• 제안된 프레임워크를 사용하여 VQA 벤치마크에서 최신 기술 수준의 성능과 비용 효율성을 입증하기 위해.

제안 방법

• Visual Genome의 영역 기술문을 활용해 답변의 동의어 표현들이 가까이 클러스터링되도록 시각적 의미 임베딩 공간을 구축한다.
• 출력 토큰 공간 대신 학습된 시각적 의미 임베딩 공간 내에서 몽테카를로 드롭아웃 기반 베이지안 불확실성 추정을 적용한다.
• 임베딩 표현을 정제하고 불확실성 추정 정확도를 향상시키기 위해 디노이저 모듈을 도입한다.
• 임베딩 공간에서의 다중 순방향 전파 결과의 분산을 주체 학습 샘플 선택을 위한 불확실성 측정 기준으로 사용한다.
• 학습 중에 시각적 의미 공간을 학습 가능한 손실로 통합하여, 존재하는 불확실성 함수와의 호환성을 확보한다.
• 임베딩 분산 기반 불확실성 샘플링을 활용해 레이블링에 가장 유용한 샘플을 선택한다.

실험 결과

연구 질문

• RQ1 시각적 의미 임베딩 공간에서의 불확실성 추정이 VQA의 주체 학습에서 기존의 출력 공간 기반 불확실성 측정법보다 우수한 성능을 내는가?
• RQ2 기존의 불확실성 전략 대비 제안된 방법이 동의어 표현 답변의 샘플링을 얼마나 줄이는가?
• RQ3 이 방법이 시각어휘 생성 작업의 주체 학습에서 샘플 효율성을 얼마나 향상시키는가?
• RQ4 디노이저와 구조화된 임베딩 공간을 사용함으로써 다수의 정답 출력이 존재하는 상황에서 베이지안 불확실성 추정의 강건성이 향상되는가?
• RQ5 '무엇'과 '어디서' 질문 유형 간에, 샘플링된 답변의 신선도와 다양성 측면에서 이 방법은 어떻게 성능을 내는가?

주요 결과

• 제안된 방법은 무작위 샘플링 및 기존 불확실성 기반 기준 대비 Visual Genome 데이터셋에서 5배 높은 비용 효율성을 달성한다.
• VQA 2.0 데이터셋에서는 기준 주체 학습 전략 대비 3배 높은 비용 효율성을 확보한다.
• '무엇' 질문에서 새로운 개념을 27% 더 많이 샘플링하여 다양성 향상과 중복 감소를 확인한다.
• 동의어 표현이 많은 긴 답변의 샘플링 비율이 '어디서' 질문에서 25.3% 감소하여 동의어 답변의 샘플링을 크게 줄였다.
• 제거 분석 결과, 시각적 의미 공간, 베이지안 불확실성, 디노이저를 모두 조합할 경우 최고의 성능을 기록하며, 각 구성 요소가 강건성 향상에 기여함을 확인했다.
• 기존의 불확실성 측정 기법을 사용할 때조차도 시각적 의미 공간만으로도 성능 향상이 가능함을 확인하여, 다수의 정답 출력이 존재하는 작업에서 출력 공간을 구조화하는 데 있어 일반적인 유용성을 입증했다.