[논문 리뷰] Zero-Shot Visual Question Answering

Damien Teney, Anton van den Hengel|arXiv (Cornell University)|2016. 11. 17.

Multimodal Machine Learning Applications참고 문헌 19인용 수 58

한 줄 요약

이 논문은 테스트 질문에 학습 중에 볼 수 없었던 단어가 포함된 새로운 평가 설정인 Zero-Shot Visual Question Answering (ZS-VQA)를 소개한다. 이 설정은 현재 VQA 모델이 데이터셋 편향에 의존함으로써 일반화 능력이 떨어지는 문제를 드러낸다. 저자들은 사전 학습된 단어 임베딩, 의미적 객체 임베딩, 테스트 시점의 예시 검색, 순서 인식 특징 상호작용, 데이터 증강 기법을 활용한 전략을 제안하고 평가하여 표준 및 제로샷 설정 모두에서 최고 성능을 달성한다.

ABSTRACT

Part of the appeal of Visual Question Answering (VQA) is its promise to answer new questions about previously unseen images. Most current methods demand training questions that illustrate every possible concept, and will therefore never achieve this capability, since the volume of required training data would be prohibitive. Answering general questions about images requires methods capable of Zero-Shot VQA, that is, methods able to answer questions beyond the scope of the training questions. We propose a new evaluation protocol for VQA methods which measures their ability to perform Zero-Shot VQA, and in doing so highlights significant practical deficiencies of current approaches, some of which are masked by the biases in current datasets. We propose and evaluate several strategies for achieving Zero-Shot VQA, including methods based on pretrained word embeddings, object classifiers with semantic embeddings, and test-time retrieval of example images. Our extensive experiments are intended to serve as baselines for Zero-Shot VQA, and they also achieve state-of-the-art performance in the standard VQA evaluation setting.

연구 동기 및 목표

• 학습 데이터에서 볼 수 없었던 단어가 포함된 질문을 가진 테스트 인스턴스를 포함하는 새로운 ZS-VQA 평가 설정을 정의하고 평가함으로써 현재 VQA 모델의 일반화 실패를 드러내는 것.
• 기존 VQA 방법이 빈번한 답변 패턴 등의 데이터셋 편향에 과도하게 의존함으로써 진정한 시각적 이해 없이도 높은 성능를 내는 문제를 부각하는 것.
• 사전 학습된 표현과 테스트 시점의 시각적 예시 검색을 활용하여 제로샷 일반화 능력을 향상시키는 전략을 개발하고 평가하는 것.
• ZS-VQA 성능 향상이 표준 VQA 벤치마크에서도 최고 성능을 달성하는 데 기여함을 보여주어 제안된 방법의 광범위한 유용성을 입증하는 것.

제안 방법

• 질문이나 답변에 등장하는 단어가 학습 데이터에 없도록 Visual7W 데이터셋을 재구성하여 새로운 학습 및 테스트 분할을 만든다.
• 사전 학습된 단어 임베딩과 YOLO에서 추출한 객체 검출 결과의 의미적 임베딩을 활용하여 미리 보지 않은 개념으로의 일반화 능력을 향상시킨다.
• 이미지와 질문 특징 간의 상호작용 순서를 명시적으로 모델링하는 순서 임베딩을 도입하여 호환성 학습을 향상시킨다.
• 학습 중에 합성된 잘못된 답변 쌍을 생성하여 데이터 증강을 적용함으로써 모델의 강건성과 일반화 능력을 향상시킨다.
• 이미지 검색을 통해 테스트 시점에 시각적 예시를 검색하여 미리 보지 않은 단어에 대한 맥락적 지원을 제공하며, 질문과 답변 모두에 시각적 임베딩을 사용한다.
• 의미적 임베딩, 예시 검색, 순서 임베딩, 데이터 증강 전략을 통합하여 최적의 성능을 내는 통합 모델을 구성한다.

실험 결과

연구 질문

• RQ1 학습 중에 한 번도 보지 못한 단어가 포함된 질문에서 현재 VQA 모델의 성능는 어떠한가? 이는 모델의 일반화 능력에 대해 무엇을 드러내는가?
• RQ2 데이터셋 편향(예: 빈번한 답변 패턴)은 표준 벤치마크에서 높은 성능를 내는 데 얼마나 기여하는가? 이는 진정한 시각적 이해 없이도 성능 향상을 가능하게 하는가?
• RQ3 사전 학습된 단어 임베딩, 객체 검출 결과, 또는 테스트 시점에 검색된 예시와 같은 보조 정보가 제로샷 VQA 성능 향상에 기여하는가?
• RQ4 이미지와 질문 표현 간의 순서 인식 특징 상호작용이 대칭적 상호작용을 넘어서 일반화 능력을 향상시키는가?
• RQ5 합성된 잘못된 답변 쌍을 활용한 데이터 증강은 모델의 강건성과 제로샷 일반화 능력을 향상시키는가?

주요 결과

• 제안된 ZS-VQA 평가 설정은 테스트 질문에 미리 보지 않은 단어가 포함될 경우 성능가 급격히 떨어지므로, 현재 VQA 모델의 열악한 일반화 능력을 효과적으로 드러낸다.
• 테스트 시점의 시각적 예시 검색은 ZS-VQA 성능 향상에 크게 기여하며, 특히 질문과 답변 모두에 시각적 임베딩을 사용할 경우 성능 향상이 두드러지며, 이는 검색 품질과 상관관계가 있다.
• 순서 임베딩은 대칭적 특징 상호작용보다 성능이 뛰어나며, 순서가 뒤바뀔 경우 성능가 크게 떨어지므로, 구조적 모델링의 중요성을 확인한다.
• 합성된 잘못된 답변 쌍을 활용한 데이터 증강은 측정 가능한 성능 향상을 가져오며, 특히 ZS 설정에서 두드러져, 새로운 답변 분포로의 일반화 능력 향상이 가능함을 시사한다.
• 모든 제안된 전략을 통합한 모델은 표준 Visual7W 벤치마크와 새로운 ZS-VQA 분할 모두에서 최고 성능을 달성하여 제안된 접근 방식의 효과성을 입증한다.
• 학습 데이터가 감소할수록 성능가 부드럽게 떨어지며, 특히 ZS 설정에서 두드러지게 나타나, 데이터 부족 상황에서도 강건성과 뛰어난 일반화 능력을 가짐을 시사한다.