[논문 리뷰] Active Learning for Visual Question Answering: An Empirical Study

Xiao Lin, Devi Parikh|arXiv (Cornell University)|2017. 11. 06.

Multimodal Machine Learning Applications참고 문헌 24인용 수 18

한 줄 요약

이 논문은 베이지안 신경망 프레임워크 하에서 깊이 있는 시각질문응답(VQA) 모델을 위한 활성 학습 전략—크래밍, 궁금증 기반, 목표 기반—을 제안하고 평가한다. 모델이 유의미하게 정보성 있는 질문-이미지 쌍을 선택할 수 있도록 30,000~50,000개의 훈련 예제가 필요하며, 이후 목표 기반 학습 전략이 특히 예/아니요 유형의 질문에 대해 annotation 비용을 크게 줄인다.

ABSTRACT

We present an empirical study of active learning for Visual Question Answering, where a deep VQA model selects informative question-image pairs from a pool and queries an oracle for answers to maximally improve its performance under a limited query budget. Drawing analogies from human learning, we explore cramming (entropy), curiosity-driven (expected model change), and goal-driven (expected error reduction) active learning approaches, and propose a fast and effective goal-driven active learning scoring function to pick question-image pairs for deep VQA models under the Bayesian Neural Network framework. We find that deep VQA models need large amounts of training data before they can start asking informative questions. But once they do, all three approaches outperform the random selection baseline and achieve significant query savings. For the scenario where the model is allowed to ask generic questions about images but is evaluated only on specific questions (e.g., questions whose answer is either yes or no), our proposed goal-driven scoring function performs the best.

연구 동기 및 목표

• 비용이 많이 드는 인간의 annotation을 줄이면서도 성능을 유지하기 위해 깊이 있는 VQA 모델을 위한 활성 학습 전략을 탐구한다.
• 장기 꼬리 분포로 인해 빈번히 중복되며 고비용인 대규모 annotation 데이터의 문제를 해결하기 위해 데이터 효율성 문제를 다룬다.
• 특히 드문 질문이나 공통 지식 추론 작업에 대해 활성 학습이 정보성 있는 질문-이미지 쌍을 효과적으로 우선순위 정렬할 수 있는지 탐색한다.
• 베이지안 신경망 프레임워크 하에서 크래밍, 궁금증 기반, 목표 기반 전략과 같은 다양한 쿼리 전략의 효과성을 평가한다.
• 모델이 특정 후행 작업, 예를 들어 예/아니요 질문 응답에 대해 성능 향상을 이끌어내는 질문을 학습하여 선택할 수 있는지 확인한다.

제안 방법

• 베이지안 신경망 프레임워크 하에서 풀 질문과 테스트 질문 간의 상호정보량을 기반으로 한 새로운 목표 기반 활성 학습 스코링 함수를 제안한다.
• 비교를 위해 기준선 쿼리 전략으로 엔트로피 기반 불확실성(크래밍)과 기대 모델 변화(궁금증 기반)를 사용한다.
• 쿼리 전략 계산을 위해 몬테카를로 드롭아웃 샘플링을 활용하여 베이지안 프레임워크 내에서 불확실성과 모델 분산을 추정한다.
• 반복적 활성 학습을 적용: 모델은 미라벨링된 풀에서 상위-k개의 정보성 있는 질문-이미지 쌍을 선택하고, 오라클로부터 답변을 요청한 후 재학습한다.
• 후행 테스트 세트에서의 성능을 평가 지표로 사용하여 VQA v1.0 및 v2.0 데이터셋에서 전략을 평가한다.
• 배치 선택을 구현하고 상호정보량을 효율적으로 근사하여 대규모 데이터셋에 스케일링한다.

실험 결과

연구 질문

• RQ1 깊이 있는 VQA 모델은 활성 학습에서 정보성 있는 질문-이미지 쌍을 효과적으로 선택할 수 있으며, 어느 정도의 규모에서 이것이 가능해지는가?
• RQ2 크래밍, 궁금증 기반, 목표 기반 전략과 같은 다양한 활성 학습 전략은 annotation 비용 절감과 성능 향상 측면에서 어떻게 비교되는가?
• RQ3 목표 기반 활성 학습, 즉 목표 작업에 대한 관련성을 중시하는 전략이 불확실성 또는 모델 변화 기반 전략보다 우수한가?
• RQ4 특정 질문 유형, 예를 들어 예/아니요 질문에 대해서만 평가되는 경우, 활성 학습이 annotation 비용을 어느 정도 줄일 수 있는가?
• RQ5 사전에 가장 관련성이 높은 질문 유형(예: 예/아니요 질문)만을 쿼리하는 ' cheating' 수동 기반 전략과 비교했을 때, 활성 학습으로 학습한 모델이 유사한 성능을 달성할 수 있는가?

주요 결과

• 깊이 있는 VQA 모델은 정보성 있는 질문을 선택할 수 있도록 30,000~50,000개의 훈련 예제가 필요하며, 이 이전에는 활성 학습이 유의미한 이점을 제공하지 못한다.
• 모델이 이 임계점을 넘은 후, 크래밍, 궁금증 기반, 목표 기반 전략 모두 랜덤 선택보다 우수하며 상당한 쿼리 비용 절감 효과를 보인다.
• 제안된 목표 기반 전략은 후행 작업이 특정 질문 유형(예: 예/아니요 질문)에 집중할 경우 가장 뛰어난 성능을 발휘한다.
• 반복 50회 시점에서 목표 기반 전략은 VQA v2.0 훈련 분할의 167,499개의 예/아니요 질문 중 50%를 선택하여 목표 작업에 대한 강력한 관련성을 보였다.
• 목표 기반 접근 방식은 오직 예/아니요 질문만 쿼리하는 'cheating' 수동 기반 전략과 거의 동일한 성능을 보여, 관련 지식을 효과적으로 타겟팅한다는 점을 시사한다.
• 추가 데이터로 인한 성능 향상은 모든 모델 아키텍처에서 선형적으로 유지되며, 이는 활성 학습이 지속적인 데이터 수집과 함께 성과를 유지할 수 있음을 시사한다.