[논문 리뷰] Declaration-based Prompt Tuning for Visual Question Answering

Yuhang Liu, Wei Wei외 2명|arXiv (Cornell University)|2022. 05. 05.

Multimodal Machine Learning Applications인용 수 5

한 줄 요약

이 논문은 시각질의 질문 응답(VQA)를 위한 새로운 피니어튜닝 파라다임인 선언형 프롬프트 튜닝(DPT)을 제안한다. 이는 질문을 [MASK] 토큰을 포함한 서술문으로 변환함으로써, 사전학습 목표인 마스크된 언어 모델링(MLM)과 이미지-텍스트 매칭(ITM)과 일치하도록 작업을 재구성한다. DPT는 완전히 지도 학습 설정에서 2.68% 높은 정확도를 달성하고, GQA에서 제로샷/소수량 샘플 설정에서 31% 이상의 절대적 향상을 보이며, 사전학습된 시각-언어 모델 전반에 걸쳐 강력한 일반화 능력을 입증한다.

ABSTRACT

In recent years, the pre-training-then-fine-tuning paradigm has yielded immense success on a wide spectrum of cross-modal tasks, such as visual question answering (VQA), in which a visual-language (VL) model is first optimized via self-supervised task objectives, e.g., masked language modeling (MLM) and image-text matching (ITM), and then fine-tuned to adapt to downstream task (e.g., VQA) via a brand-new objective function, e.g., answer prediction. The inconsistency of the objective forms not only severely limits the generalization of pre-trained VL models to downstream tasks, but also requires a large amount of labeled data for fine-tuning. To alleviate the problem, we propose an innovative VL fine-tuning paradigm (named Declaration-based Prompt Tuning, abbreviated as DPT), which jointly optimizes the objectives of pre-training and fine-tuning of VQA model, boosting the effective adaptation of pre-trained VL models to the downstream task. Specifically, DPT reformulates the objective form of VQA task via (1) textual adaptation, which converts the given questions into declarative sentence-form for prompt-tuning, and (2) task adaptation, which optimizes the objective function of VQA problem in the manner of pre-training phase. Experimental results on GQA dataset show that DPT outperforms the fine-tuned counterpart by a large margin regarding accuracy in both fully-supervised (2.68%) and zero-shot/few-shot (over 31%) settings. All the data and codes will be available to facilitate future research.

연구 동기 및 목표

• 사전학습과 피니어튜닝 간 목표 형식의 불일치로 인한 성능 격차를 해소하기 위해.
• VQA에 대한 대규모 레이블된 데이터셋에 대한 의존도를 줄이기 위해, 최종 작업 목표를 사전학습 목표와 일치시키기 위해.
• 통합된 목표 형식을 통해 제로샷 및 소수량 샘플 일반화 능력을 향상시키기 위해.
• 특수한 작업 기반 분류 헤드를 도입하지 않고도 사전학습된 시각-언어 모델의 효과적인 적응을 가능하게 하기 위해.

제안 방법

• 텍스트 적응: 질문어를 [MASK] 토큰 또는 후보 답변으로 대체하여 입력 질문을 서술문으로 변환한다.
• 작업 적응: [MASK] 토큰 예측을 통해 마스크된 언어 모델링(MLM) 작업으로, 가장 잘 맞는 답변을 선택하는 방식으로 이미지-텍스트 매칭(ITM) 작업으로 VQA를 재구성한다.
• 새로운 분류 헤드 없이, 사전학습 목표(MLM 및 ITM)만을 사용하여 시각-언어 모델을 피니어튜닝한다.
• 사전학습과 피니어튜닝 동안 동일한 목표 함수(MLM 및 ITM)를 사용하여 분포 격차를 최소화한다.
• UNITER 및 ViLT와 같은 다양한 사전학습된 모델에 적용하여 일반화 능력을 입증한다.
• 추가 파라미터 없이 프롬프트 템플릿을 초월해, MLM 및 ITM에 대한 표준 교차 엔트로피 손실을 통해 모델을 종합적으로 최적화한다.

실험 결과

연구 질문

• RQ1 VQA 피니어튜닝의 목표 형식을 사전학습 목표와 일치시킴으로써 모델의 일반화 능력 향상이 가능한가?
• RQ2 표준 피니어튜닝 대비 DPT는 제로샷 및 소수량 샘플 VQA 설정에서 어떻게 성능을 내는가?
• RQ3 질문을 [MASK] 토큰을 포함한 서술문으로 재구성함으로써 모델의 속성 및 전반적 의미 이해 능력이 향상되는가?
• RQ4 DPT는 다양한 사전학습된 시각-언어 모델 간에 얼마나 잘 일반화되는가?
• RQ5 성능 저하 없이 DPT는 VQA에서 대규모 레이블된 데이터셋이 필요 없도록 줄일 수 있는가?

주요 결과

• DPT는 완전히 지도 학습 설정에서 GQA 데이터셋에서 표준 피니어튜닝 대비 2.68% 절대 정확도 향상을 달성한다.
• 제로샷 및 소수량 샘플 설정에서 DPT는 기준선 대비 정확도를 31.8%에서 37.4%까지 향상시키며, 제로샷 설정에서는 학습 데이터가 전혀 없음에도 불구하고 성능 향상을 보인다.
• 속성 기반 질문에 대해서는 정확도가 5.59个百分点(70.46% 대비 64.87%) 향상되어 더 나은 속성 이해 능력을 보여준다.
• 전반적 범위 질문에 대해서는 정확도가 2.55个百分点(59.24% 대비 56.69%) 향상되어 더 강력한 전반적 추론 능력을 나타낸다.
• DPT는 다양한 모델 간 일반화가 가능하다: UNITER+DPT는 GQA에서 기존 피니어튜닝 기준선 대비 1.01% 향상되었고, ViLT+DPT는 0.46% 향상되었다.
• 사례 연구 결과, DPT는 ITM를 활용해 의미 일관성을 확보함으로써 애매한 질문을 정확히 해결하며, 답변 빈도에 의존하는 기준선을 능가하는 성능을 보였다.