[논문 리뷰] Answer-Me: Multi-Task Open-Vocabulary Visual Question Answering

AJ Piergiovanni, Wei Li외 4명|arXiv (Cornell University)|2022. 05. 02.

Multimodal Machine Learning Applications인용 수 16

한 줄 요약

Answer-Me는 이미지 설명 데이터만을 사용하여 끝에서 끝까지 미리 훈련하는 다중 작업, 작업 인식 프레임워크를 제안한다. VQA, 시각적 함의, 추론 작업 등 다양한 질문 의도를 함께 최적화함으로써, 과거의 다중 작업 및 미세 조정 모델보다 더 뛰어난 제로샷 일반화 성능과 치명적인 잊음에 대한 강건성을 달성한다. 이는 개방형 어휘 설정에서 최신 기술 수준을 넘어선 성능을 보인다.

ABSTRACT

We present Answer-Me, a task-aware multi-task framework which unifies a variety of question answering tasks, such as, visual question answering, visual entailment, visual reasoning. In contrast to previous works using contrastive or generative captioning training, we propose a novel and simple recipe to pre-train a vision-language joint model, which is multi-task as well. The pre-training uses only noisy image captioning data, and is formulated to use the entire architecture end-to-end with both a strong language encoder and decoder. Our results show state-of-the-art performance, zero-shot generalization, robustness to forgetting, and competitive single-task results across a variety of question answering tasks. Our multi-task mixture training learns from tasks of various question intents and thus generalizes better, including on zero-shot vision-language tasks. We conduct experiments in the challenging multi-task and open-vocabulary settings and across a variety of datasets and tasks, such as VQA2.0, SNLI-VE, NLVR2, GQA. We observe that the proposed approach is able to generalize to unseen tasks and that more diverse mixtures lead to higher accuracy in both known and novel tasks.

연구 동기 및 목표

• 작업별 미세 조정 없이 다양한 시각적 질문-답변 작업 간에서 일반화되는 통합된 다중 작업 프레임워크를 개발하는 것.
• 작업 무관 미리 훈련의 한계를 해결하여 질문 의도를 포착하지 못하고 제로샷 성능이 열악한 문제를 해결하는 것.
• 다양한 작업 간 지속적인 학습에서 치명적인 잊음에 대한 강건성을 향상시키는 것.
• 오직 이미지 설명 데이터만을 사용하여 강력한 인코더-디코더 일치를 갖는 시각-언어 모델의 엔드 투 엔드 훈련을 가능하게 하는 것.
• 정확한 텍스트 생성이 요구되는 더 현실적인 개방형 어휘 설정에서의 성능 평가를 수행하는 것 — 다중 선택 분류가 아닌 방식으로

제안 방법

• 공통된 시각 인코더, 언어 인코더, 텍스트 디코더를 갖는 통합 아키텍처를 사용하며, 다중 작업 미리 훈련 목표의 혼합물에 대해 엔드 투 엔드로 훈련된다.
• 미리 훈련은 단순한 조리법을 사용하며, 오직 이미지 설명 데이터만을 활용하며, 네 가지 별도의 작업을 포함한다: 설명 작성, 설명 완성, 이미지-텍스트 매칭(ITM), 마스크된 언어 모델링(MLM).
• 각 작업은 최소한의 전처리 차이를 가지며 동일한 손실 함수를 사용하여 이미지 및 언어 인코더와 디코더의 공동 최적화를 가능하게 한다.
• 융합 메커니즘은 이미지 및 텍스트 특징을 연결한 후 트랜스포머 인코더를 거쳐 파라미터를 최소화하면서도 성능을 유지한다.
• 자유형 답변 생성을 위해 훈련되어, 추가 프롬프트나 미세 조정 없이도 새로운 작업에 대해 제로샷 추론이 가능하다.
• 복잡한 객체 검출 파이프라인을 피하고, 외부 도메인 객체로도 일반화 가능한 경량이고 확장 가능한 아키텍처에 의존한다.

실험 결과

연구 질문

• RQ1 오직 이미지 설명 데이터만을 사용하는 다중 작업 미리 훈련 조리법이 다양한 시각적 질문-답변 작업 간 강력한 제로샷 일반화를 달성할 수 있는가?
• RQ2 미리 훈련 단계에서의 작업 다양성이 새로운, 알려지지 않은 질문-답변 작업으로의 일반화에 어떤 영향을 미치는가?
• RQ3 인코더와 디코더 컴ponent의 엔드 투 엔드 훈련이 대비나 자동 회귀 미리 훈련만으로 수행하는 것보다 성능 향상에 기여하는가?
• RQ4 다중 선택 벤치마크와는 달리 정확한 답변 매칭이 요구되는 개방형 어휘 설정에서의 성능은 어떻게 되는가?
• RQ5 다중 작업 학습이 새로운 작업을 점진적으로 학습할 때 치명적인 잊음을 얼마나 줄이는가?

주요 결과

• 모든 네 가지 작업(설명 작성, 설명 완성, ITM, MLM)을 포함한 전체 다중 작업 미리 훈련 조리법이 가장 높은 성능을 기록했으며, VQA2.0에서 65.2% F1, SNLI-VE에서 77.7% F1을 달성하여 단일 작업 미리 훈련보다 뛰어났다.
• 더 다양한 작업 혼합물이 포함된 경우 제로샷 일반화 성능이 크게 향상되었다: 4개 작업 혼합물(B)은 제로샷 VQA에서 16% F1을 기록했고, 표준 미리 훈련 모델은 단지 2%에 그쳤다.
• MS-COCO 데이터만으로 미리 훈련한 결과, 제로샷 검출 작업에서 53% F1을 기록했으며, 4개 작업 혼합물(B)을 사용하면 성능이 53% F1로 향상되어 새로운 객체 검출 작업으로의 강력한 일반화 능력을 보였다.
• 인코더/디코더 융합 레이어를 연결보다 사용한 결과 성능에 미미한 영향을 주었지만 파라미터 수가 4% 증가했기 때문에 효율성을 고려해 연결 방식을 선택했다.
• 모델는 치명적인 잊음에 대한 강건성을 보였으며, 작업 간 지속적인 학습 후에도 높은 성능을 유지했고, 작업별로 미세 조정된 모델들과는 달리 성능 저하가 없었다.
• 더 나은 일반화와 의도 이해 덕분에, 더 큰 크기이거나 미세 조정된 일부 최신 기술 수준의 모델들보다도 개방형 어휘 설정에서 뛰어난 성능을 보였다.