[논문 리뷰] Prophet: Prompting Large Language Models with Complementary Answer Heuristics for Knowledge-based Visual Question Answering

Yu Zhou, Ouyang, Xuecheng외 3명|arXiv (Cornell University)|2023. 03. 03.

Multimodal Machine Learning Applications인용 수 6

한 줄 요약

Prophet는 지식 기반 시각질의질의응답(VQA)의 정확도를 향상시키기 위해 미세조정된 VQA 모델에서 추출한 보완적인 답변 히ュ리스틱(답안 후보 및 답변 인식 예시)을 구조화된 프롬프트로 통합하는 새로운 프롬프팅 프레임워크를 제안한다. 이 히ュ리스틱을 활용하여 Prophet는 네 가지 지식 기반 VQA 벤치마크에서 상태의 최선(SoTA) 기법을 뛰어넘는 성능을 기록하며, GPT-3와 조합했을 때도 뚜렷한 성능 향상을 보인다.

ABSTRACT

Knowledge-based visual question answering (VQA) requires external knowledge beyond the image to answer the question. Early studies retrieve required knowledge from explicit knowledge bases (KBs), which often introduces irrelevant information to the question, hence restricting the performance of their models. Recent works have resorted to using a powerful large language model (LLM) as an implicit knowledge engine to acquire the necessary knowledge for answering. Despite the encouraging results achieved by these methods, we argue that they have not fully activated the capacity of the \emph{blind} LLM as the provided textual input is insufficient to depict the required visual information to answer the question. In this paper, we present Prophet -- a conceptually simple, flexible, and general framework designed to prompt LLM with answer heuristics for knowledge-based VQA. Specifically, we first train a vanilla VQA model on a specific knowledge-based VQA dataset without external knowledge. After that, we extract two types of complementary answer heuristics from the VQA model: answer candidates and answer-aware examples. The two types of answer heuristics are jointly encoded into a formatted prompt to facilitate the LLM's understanding of both the image and question, thus generating a more accurate answer. By incorporating the state-of-the-art LLM GPT-3, Prophet significantly outperforms existing state-of-the-art methods on four challenging knowledge-based VQA datasets. Prophet is general that can be instantiated with the combinations of different VQA models (i.e., both discriminative and generative ones) and different LLMs (i.e., both commercial and open-source ones). Moreover, Prophet can also be integrated with modern large multimodal models in different stages, which is named Prophet++, to further improve the capabilities on knowledge-based VQA tasks.

연구 동기 및 목표

• 기존의 LLM 기반 VQA 방법들이 시각적 및 작업 특화된 맥락이 부족하여 LLM의 추론 능력을 충분히 발휘하지 못하는 데서 비롯되는 한계를 해결하기 위해.
• 미세조정된 VQA 모델에서 작업 특화된 히ュ리스틱을 추출하여 LLM 프롬프트를 풍부하게 함으로써 지식 기반 VQA 성능을 향상시키기 위해.
• 다양한 조합의 VQA 모델(판별형 및 생성형)과 LLM(상용 및 오픈소스)과도 호환되는 일반화 가능한 프레임워크를 설계하기 위해.
• 명시적 지식 기반 시스템에 대한 의존도를 줄이기 위해, 정교하게 선별된 히ュ리스틱을 통해 암묵적 지식을 효과적으로 활용할 수 있도록 유도하는 LLM의 추론 능력을 극대화하기 위해.
• 검색 기반 및 LLM 전용 접근 방식에서 발생하는 관련 없는 지식 검색 및 낮은 답변 일치도 문제를 완화하기 위해.

제안 방법

• 외부 지식 없이 지식 기반 VQA 데이터셋에서 기초적인 VQA 모델을 훈련시켜 시각-언어적 표현을 학습한다.
• 보완적인 두 가지 유형의 답변 히ュ리스틱을 추출한다: (1) 모델의 상위-k 예측에서 유도된 답변 후보, (2) 고신뢰도 예측에서 유도된 답변 인식 예시.
• 이미지 캡션, 질문, 답변 후보, 답변 인식 예시를 통합한 구조화된 프롬프트를 제작하며, 이는 LLM의 추론에 최적화된 형식을 취한다.
• 고정된 강력한 LLM(GPT-3 등)을 사용하여 풍부하게 개선된 프롬프트를 기반으로 답변을 생성함으로써, 시각적 신호와 지식 인식 신호를 모두 활용한다.
• 제로샷 및 피샷 추론을 지원하도록 프롬프트를 설계하여 다양한 VQA 데이터셋과 LLM 유형 간의 일반화 능력을 확보한다.
• 질문 형식에 따라 다중 선택 및 개방형 답변 형식을 모두 지원하기 위해 프롬프트 구조를 적절히 조정한다.

Figure 2 : Our Prophet framework has two stages: answer heuristics generation and heuristics-enhanced prompting. In the answer heuristics generation stage, a vanilla VQA model trained on specific knowledge-based VQA dataset is employed to generate two types of complementary answer heuristics, i.e. ,

실험 결과

연구 질문

• RQ1 미세조정된 VQA 모델에서 추출한 답변 히ュ리스틱이 LLM 기반 지식 기반 VQA의 성능 향상에 기여하는가?
• RQ2 보완적인 히ュ리스틱인 답변 후보와 답변 인식 예시가 시각질의질의응답에서 LLM의 추론에 어떤 영향을 미치는가?
• RQ3 Prophet와 같은 일반적인 프롬프팅 프레임워크가 다양한 지식 기반 VQA 벤치마크에서 검색 기반 및 LLM 전용 기준보다 얼마나 뛰어난 성능을 보이는가?
• RQ4 이 프레임워크는 판별형과 생성형 VQA 모델 아키텍처, 상용 및 오픈소스 LLM 유형 간에도 일반화 가능한가?

주요 결과

• Prophet는 OK-VQA, A-OKVQA, ScienceQA, TextVQA의 네 가지 도전적인 지식 기반 VQA 벤치마크에서 상태의 최선(SoTA) 성능을 기록하며, 기존 방법들을 뛰어넘는다.
• OK-VQA 데이터셋에서 '식물과 동물' 카테고리에서 Prophet는 MCAN 대비 정확도를 11.09%p 향상시켰다(52.58% → 63.67%) 하며, 모든 카테고리에서 일관된 성능 향상을 보였다.
• 잘못된 지식 추론(44.1%)과 부족한 시각적 이해(27.3%)로 인한 실패 비율이 감소하여, 추론 능력과 시각적 인식의 일치도 향상됨을 시사한다.
• '기상 및 기후' 카테고리에서 68.37%의 정확도를 기록하여 전문 지식 영역에서도 뛰어난 성능을 보였다.
• 제거 실험을 통해 중복 답변에 대한 매개변수 상속 전략을 적용한 미세조정 전략이 표준 미세조정보다 성능 향상에 기여함을 확인하였다.
• 인간 평가 결과, 실패의 22.8%는 정확하지만 표현 방식이 다른 답변에서 기인한 것으로 나타나, 평가 지표에 영향을 주는 애너테이션의 다양성이 중요한 역할을 함을 시사한다.

Figure 3 : Discriminative vs. generative VQA models. Taking an image (V) and a question (Q) as inputs, a typical discriminative VQA model like MCAN [ 18 ] performs multi-class classification to predict the most relevant answer (may contain multiple words) from a predefined answer vocabulary, while a