[논문 리뷰] Zero-Shot Transfer VQA Dataset

Yuanpeng Li, Yi Yang외 2명|arXiv (Cornell University)|2018. 11. 02.

Advanced Neural Network Applications참고 문헌 27인용 수 6

한 줄 요약

이 논문은 훈련 시 한 모odal에서 단어가 나타나지만 테스트 시 다른 모달에서 예측되어야 하는 경우에 대해 제로샷 전이 학습을 평가하기 위해 Zero-Shot Transfer VQA (ZST-VQA) 데이터셋을 소개한다. 실험 결과 기존 최고 성능을 내는 VQA 모델들이 이 작업에서 실패하며, 제로샷 답변 작업에서 정확도가 0%에 머물러 있어, 모델 훈련 과정에서 암묵적인 편향이 존재함으로써 제로샷 일반화 능력이 극도로 떨어지는 것을 드러낸다.

ABSTRACT

Acquiring a large vocabulary is an important aspect of human intelligence. Onecommon approach for human to populating vocabulary is to learn words duringreading or listening, and then use them in writing or speaking. This ability totransfer from input to output is natural for human, but it is difficult for machines.Human spontaneously performs this knowledge transfer in complicated multimodaltasks, such as Visual Question Answering (VQA). In order to approach human-levelArtificial Intelligence, we hope to equip machines with such ability. Therefore, toaccelerate this research, we propose a newzero-shot transfer VQA(ZST-VQA)dataset by reorganizing the existing VQA v1.0 dataset in the way that duringtraining, some words appear only in one module (i.e. questions) but not in theother (i.e. answers). In this setting, an intelligent model should understand andlearn the concepts from one module (i.e. questions), and at test time, transfer themto the other (i.e. predict the concepts as answers). We conduct evaluation on thisnew dataset using three existing state-of-the-art VQA neural models. Experimentalresults show a significant drop in performance on this dataset, indicating existingmethods do not address the zero-shot transfer problem. Besides, our analysis findsthat this may be caused by the implicit bias learned during training.

연구 동기 및 목표

• 현재 VQA 모델들이 질문과 답변 간 개념을 제로샷 전이할 수 있는지 조사하기 위해.
• 입력과 출력 모달 간 단어 출현을 분리함으로써 제로샷 전이 능력을 고립시킨 새로운 벤치마크 데이터셋을 만들기 위해.
• 기존 VQA 모델에 내재된 암묵적 편향을 폭 드러내고 분석하기 위해.
• 기존 최고 성능 VQA 모델들이 대상 모달에서 본 적 없는 단어로 일반화할 수 있는지 평가하기 위해.
• 표면적인 입력-출력 기억화를 감지하기 위한 진단 도구를 제공하기 위해.

제안 방법

• VQA v1.0 데이터셋을 재구성하여 제로샷 답변(ZSA) 및 제로샷 질문(ZSQ)이라는 두 가지 작업을 생성함. 여기서 목표 단어는 훈련 시 한 모달에서만 나타남.
• 훈련 데이터만을 사용하여 질문과 답변에 별도의 어휘를 구성함으로써, 제로샷 단어가 훈련 시 목표 모달에 포함되지 않도록 보장함.
• 표준 VQA 모델(SAN, HieCoAtt 등)을 사용하여 새로운 ZST-VQA 분할에 대해 표준 훈련 및 추론 프rotocol를 적용함.
• 정규화된 점수 히스토GRAM을 사용하여 기존 답변에 대한 암묵적 편향이 제로샷 답변보다 강하게 나타나는지 분석함.
• 공통 어휘, 공통 단어 임베딩, 최종 레이어에서 공유된 전치 행렬을 도입하여 아키텍처 수정이 제로샷 성능 향상에 기여하는지 테스트함.
• 표준 모델과 수정된 모델을 비교하는 분석 실험을 수행하여 편향과 모달 간 분리의 역할을 고립함.

실험 결과

연구 질문

• RQ1 기존 최고 성능 VQA 모델들은 질문에서 답변으로의 제로샷 개념 전이를 수행할 수 있는가?
• RQ2 기존 VQA 모델들은 답변에서 질문으로의 제로샷 개념 전이를 수행할 수 있는가?
• RQ3 현재 VQA 모델에서 제로샷 전이 작업에서 성능 저하가 발생하는 원인은 무엇인가?
• RQ4 모델 표현에 내재된 암묵적 편향이 제로샷 일반화를 얼마나 막는가?
• RQ5 공통 임베딩 및 편향 없는 최종 레이어와 같은 아키텍처 수정이 제로샷 전이 성능 향상에 기여할 수 있는가?

주요 결과

• 모든 평가된 최고 성능 VQA 모델에서 제로샷 답변(ZSA) 작업의 정확도가 0%로 나타나, 알려지지 않은 답변 단어에 대한 일반화 실패를 보여줌.
• 제로샷 질문(ZSQ) 작업은 표준 테스트 세트에 비해 성능 저하가 심각하지만 0%는 아니므로, 답변에서 질문으로의 전이가 부분적으로나마 이루어지지만 충분하지 않음을 시사함.
• 모델 분석 결과, 제로샷 답변은 테스트 단계에서도 기존 답변보다 항상 낮은 pre-softmax 점수를 받는 암묵적 편향이 존재함.
• 이러한 암묵적 편향은 일반 테스트 작업과 제로샷 테스트 작업 양쪽 모두에서 유지되며, 모델의 내부 매니폴드가 알려진 클래스를 우선시하도록 훈련된 것을 시사함.
• 공통 단어 임베딩과 편향 없는 최종 레이어와 같은 아키텍처 수정을 적용한 결과, ZSA 정확도는 여전히 0%로 유지되어, 편향과 모달 간 분리가 핵심 문제임을 확인함.
• 결과적으로 현재 VQA 모델들은 구성적 이해가 아니라 기억된 입력-출력 패턴에 의존하고 있음을 시사하며, 제로샷 일반화 능력에 근본적인 격차가 있음을 드러냄.