[논문 리뷰] Single-Modal Entropy based Active Learning for Visual Question Answering

Dong-Jin Kim, Jae-Won Cho외 3명|arXiv (Cornell University)|2021. 10. 21.

Multimodal Machine Learning Applications참고 문헌 60인용 수 5

한 줄 요약

이 논문은 시각질문응답(VQA)를 위한 새로운 활성 학습 방법인 단일모달 엔트로피 측도(SMEM)를 제안한다. 이 방법은 이미지 또는 질문만을 사용하는 단일모달 브랜치에서 유추한 불확실성을 활용하여 가장 정보가 많은 샘플을 선택한다. 엔트로피 기반 샘플링와 다중모달 예측과의 일치를 위해 자기정련(self-distillation)을 적용함으로써, VQA-v2에서 레이블링 비용을 약 30% 감소시키며, VizWiz와 VQA-CP2를 포함한 다양한 데이터셋에서 최신 기준(SOTA)을 초월한다.

ABSTRACT

Constructing a large-scale labeled dataset in the real world, especially for high-level tasks (eg, Visual Question Answering), can be expensive and time-consuming. In addition, with the ever-growing amounts of data and architecture complexity, Active Learning has become an important aspect of computer vision research. In this work, we address Active Learning in the multi-modal setting of Visual Question Answering (VQA). In light of the multi-modal inputs, image and question, we propose a novel method for effective sample acquisition through the use of ad hoc single-modal branches for each input to leverage its information. Our mutual information based sample acquisition strategy Single-Modal Entropic Measure (SMEM) in addition to our self-distillation technique enables the sample acquisitor to exploit all present modalities and find the most informative samples. Our novel idea is simple to implement, cost-efficient, and readily adaptable to other multi-modal tasks. We confirm our findings on various VQA datasets through state-of-the-art performance by comparing to existing Active Learning baselines.

연구 동기 및 목표

• 대규모 VQA 데이터셋 레이블링의 높은 비용과 비효율성을 해결하기 위해 필요한 레이블 수를 줄이기.
• 기존 활성 학습 방법의 한계를 극복하기 위해, 다중모달 환경에서 대부분의 이전 연구가 단일모달 입력에 집중한 점을 고려하여.
• 이미지와 질문 모달 간 상호정보를 효과적으로 활용하여 레이블링에 가장 유용한 샘플을 식별하는 방법을 개발하기.
• 간단하고 비용 효율적이며 확장 가능한 프레임워크를 도입하여 VQA의 샘플 획득을 향상시키기.
• 선택적 샘플링을 통해 SMEM를 사용할 경우 전체 데이터셋으로 훈련한 모델의 성능을 뛰어넘을 수 있음을 입증하기, 이는 더 많은 데이터가 항상 더 좋은 성능을 내는다는 전제를 도전하기 위함이다.

제안 방법

• 단일모달 예측에서 유도된 엔트로피를 활용해 정보가 많은 샘플을 식별하는 불확실성 기반 샘플링 전략인 단일모달 엔트로피 측도(SMEM)를 제안한다. 이는 이미지 전용 및 질문 전용 브랜치에서의 예측 결과를 기반으로 한다.
• 이미지와 질문 입력을 모두 사용하는 '메인' 브랜치와 각 모달리티별로 별도의 단일모달 브랜치를 갖춘 다중브랜치 모델 아키텍처를 도입한다.
• 단일모달 브랜치의 출력을 메인 다중모달 브랜치의 출력과 일치시키기 위해 자기정련을 적용함으로써, 샘플링을 위한 단일모달 예측의 신뢰도를 향상시킨다.
• 단일모달과 다중모달 예측 간의 괴리도를 상호정보의 대체 지표로 사용하며, 높은 분산은 높은 정보량을 의미한다.
• 샘플링 기준을 단일모달 예측의 엔트로피로 설정함으로써, 추가 추론 단계 없이도 효율적이고 불확실성 인식 기반의 선택이 가능하다.
• 각 모달리티(예: 동작 인식에서 RGB와 깊이)를 별도의 입력 스트림으로 간주함으로써, 비-VQA 작업으로의 프레임워크 확장 가능성을 입증하며, NTU RGB+D에서도 일반화 성능을 입증한다.

실험 결과

연구 질문

• RQ1 단일모달 예측에서 유도된 엔트로피가 다중모달 VQA에서 가장 정보가 많은 샘플을 효과적으로 식별할 수 있는가?
• RQ2 단일모달 브랜치와 다중모달 브랜치 간 자기정련이 활성 학습을 위한 불확실성 추정의 신뢰도를 향상시키는가?
• RQ3 다양한 VQA 데이터셋에서 SMEM이 정확도와 레이블링 효율성 측면에서 기존 활성 학습 기준을 초월할 수 있는가?
• RQ4 제안된 방법은 VQA를 넘어 동작 인식과 같은 다른 다중모달 작업으로 일반화 가능한가?
• RQ5 SMEM를 사용한 선택적 샘플링이 전체 데이터셋으로 훈련한 모델보다 더 높은 성능을 낼 수 있는가?

주요 결과

• SMEM는 VQA-v2에서 레이블링 노력의 약 30%를 절감하면서도 최신 기준 성능을 달성하며, 무작위 샘플링 및 대부분의 기준 모델을 크게 능가한다.
• 도전적인 VizWiz 데이터셋에서는 대부분의 샘플링 단계에서 최고 성능을 기록했으며, 최근의 최신 기준 모델인 VAAL과 SRAAL을 뛰어넘었다.
• VQA-CP2에서는 Entropy와 Random을 포함한 모든 기준 모델을 능가했으며, 40만 개의 샘플로 훈련한 경우에도 전체 데이터셋 기준(39.91%)보다 높은 정확도를 달성했다.
• 비-VQA 작업으로의 일반화도 효과적으로 이루어졌으며, 모든 샘플링 단계에서 NTU RGB+D 동작 인식 데이터셋에서 유리한 성능을 기록했다.
• 자기정련은 단일모달 예측의 일관성을 크게 향상시켜 보다 신뢰할 수 있는 불확실성 추정과 더 나은 샘플 획득을 가능하게 했다.
• 결과적으로 고품질의 선택적 데이터 샘플링이 전체 데이터셋으로 훈련한 모델의 성능을 뛰어넘을 수 있음을 입증하였으며, VQA에서 데이터 크기의 크기가 항상 성능 향상과 관련이 있다는 전통적 가정을 도전했다.