[논문 리뷰] Woodpecker: Hallucination Correction for Multimodal Large Language Models

Shukang Yin, Chaoyou Fu외 8명|arXiv (Cornell University)|2023. 10. 24.

Topic Modeling참고 문헌 44인용 수 22

한 줄 요약

Woodpecker는 재훈련 없이 MLLM 출력 후처리로 이미지 기반 망상(hallucinations)을 수정하는 다섯 단계 파이프라인을 사용하며 해석 가능성을 위한 경계 상자 증거를 제공합니다.

ABSTRACT

Hallucination is a big shadow hanging over the rapidly evolving Multimodal Large Language Models (MLLMs), referring to the phenomenon that the generated text is inconsistent with the image content. In order to mitigate hallucinations, existing studies mainly resort to an instruction-tuning manner that requires retraining the models with specific data. In this paper, we pave a different way, introducing a training-free method named Woodpecker. Like a woodpecker heals trees, it picks out and corrects hallucinations from the generated text. Concretely, Woodpecker consists of five stages: key concept extraction, question formulation, visual knowledge validation, visual claim generation, and hallucination correction. Implemented in a post-remedy manner, Woodpecker can easily serve different MLLMs, while being interpretable by accessing intermediate outputs of the five stages. We evaluate Woodpecker both quantitatively and qualitatively and show the huge potential of this new paradigm. On the POPE benchmark, our method obtains a 30.66%/24.33% improvement in accuracy over the baseline MiniGPT-4/mPLUG-Owl. The source code is released at https://github.com/BradyFU/Woodpecker.

연구 동기 및 목표

• 재훈련 없이 다중 모달 대형 언어 모델(MLLM)에서 시각 망상을 완화할 필요성을 제시한다.
• 진단하고 수정하며 근거 증거를 제공하는 훈련-free, 플러그인 수정 파이프라인을 제안한다.
• 중간 출력과 경계 상자 증거를 노출하여 해석 가능성을 보여준다.
• 기준 벤치마크(POPE, MME, LLaVA-QA90)에서 프레임워크를 평가하고 기준 MLLMs 대비 이득을 비교한다.

제안 방법

• 다섯 단계 수정 파이프라인: (1) 생성된 텍스트에서 언급된 주요 객체를 식별하기 위한 핵심 개념 추출; (2) 객체 및 속성을 둘러싼 질문 형성; (3) 시각 지식 검증을 위한 비전 모델로 QA 프롬프트에 답하기; (4) 시각 주장 생성을 통해 객체 수준 및 속성 수준의 주장을 포함하는 구조화된 시각 지식 베이스 구축; (5) 시각 지식 베이스에 의해 안내된 응답을 수정하고 증거로 바운딩 박스를 첨부하는 망상 수정.
• 근거 기반 구성요소: 객체 존재/개수에 대한 오픈 셋 객체 감지기(Grounding DINO)와 속성 질문에 대한 VQA 모델(BLIP-2-FlanT5 XXL).
• LLM 주도: 핵심 개념 추출, 질문 형성, 최종 수정에 GPT-3.5-turbo를 사용; 프롬프트는 해석 가능성과 바운딩 박스 증거를 보존하도록 설계.
• 훈련-free 설계: MLLM의 재훈련 없이 다양한 MLLMs와 쉽게 통합 가능하도록 일반 모델(off-the-shelf 모델)에 의존.
• 증거 보강: 시각적 사실 검증을 용이하게 하기 위해 수정된 출력에 바운딩 박스를 포함.

실험 결과

연구 질문

• RQ1 재훈련 없이도 플러그인 프레임워크가 재훈련 없이 MLLM의 객체 수준 및 속성 수준 망상을 줄일 수 있는가?
• RQ2 POPE, MME, LLaVA-QA90에서 서로 다른 MLLMs 및 데이터세트에 대해 정확도와 상세성 측면에서 Woodpecker의 성능은 어떤가?
• RQ3 근거 증거(바운딩 박스)가 보정된 결과의 해석 가능성과 검증에 어느 정도 도움을 주는가?

주요 결과

• POPE에서 Woodpecker는 기본 모델인 MiniGPT-4와 mPLUG-Owl의 정확도를 각각 30.66%와 24.33% 향상시켰다.
• POPE에서 Woodpecker는 MiniGPT-4/mPLUG-Owl의 정확도를 각각 54.67%/62%에서 85.33%/86.33%로 올렸다.
• MME에서 객체 수준 수정은 LLaVA 대비 +65에서 MiniGPT-4 대비 +101.66까지 큰 점수 증가를 가져왔고 속성 수준의 이득(예: 색상)은 수정 후 크게 개선되었다.
• GPT-4V 보조 평가가 적용된 LLaVA-QA90에서 수정된 출력은 더 높은 정확도와 상세성을 달성했으며, 예: 수정 조건에서 LLaVA의 정확도가 7.1에서 7.8로, 상세성이 7.1에서 8.6으로 증가.
• 프레임워크의 보정 정확도는 테스트된 MME 시나리오에서 79.2%이며, 누락 및 오수정 비율은 상대적으로 낮다.
• 바운딩 박스 증거는 응답의 상세성을 향상시켜 GPT-4V 보조 평가에서 상세성 향상에 기여한다.