[논문 리뷰] MLLM can see? Dynamic Correction Decoding for Hallucination Mitigation

Chenxi Wang, Xiang Chen외 5명|arXiv (Cornell University)|2024. 10. 15.

Hallucinations in medical conditionsNeuroscience인용 수 3

한 줄 요약

이 논문은 다중모态 대규모 언어모델(MLLM)에서 환각 현상을 완화하기 위해 훈련 없이, 모델에 종속되지 않는 디코딩 방법 DeCo를 제안한다. DeCo는 최종 출력 로짓을 보정하기 위해 이전 레이어에서 유용한 지식을 동적으로 선택하고 통합한다. DeCo는 이미지 캡션 벤치마크에서 평균 10.8%의 환각 비율 감소를 이끌어내며 낮은 지연 시간을 유지하며, VCD 및 OPERA와 같은 이전 방법들을 능가한다.

ABSTRACT

Multimodal Large Language Models (MLLMs) frequently exhibit hallucination phenomena, but the underlying reasons remain poorly understood. In this paper, we present an empirical analysis and find that, although MLLMs incorrectly generate the objects in the final output, they are actually able to recognize visual objects in the preceding layers. We speculate that this may be due to the strong knowledge priors of the language model suppressing the visual information, leading to hallucinations. Motivated by this, we propose a novel dynamic correction decoding method for MLLMs DeCo, which adaptively selects the appropriate preceding layers and proportionally integrates knowledge into the final layer to adjust the output logits. Note that DeCo is model agnostic and can be seamlessly incorporated with various classic decoding strategies and applied to different MLLMs. We evaluate DeCo on widely-used benchmarks, demonstrating that it can reduce hallucination rates by a large margin compared to baselines, highlighting its potential to mitigate hallucinations. Code is available at https://github.com/zjunlp/DeCo.

연구 동기 및 목표

• MLLM이 시각 정보에 접근하고 있음에도 불구하고 존재하지 않는 물체를 생성하는 이유를 규명하는 것.
• MLLM이 생성 과정에서 언어 모델 사전 지식에 의해 혼동되거나, 시각적 콘텐츠를 진정으로 '보는지' 이해하는 것.
• 훈련이 필요 없고, 모델에 종속되지 않는 디코딩 방법을 개발하여, 미세조정이나 복잡한 후처리가 필요 없이 환각을 줄이는 것.
• 응답 품질을 유지하면서 환각 억제를 향상시키고 추론 지연 시간을 최소화하는 것.

제안 방법

• DeCo는 MLLM의 이전 레이어에서 진정한 토큰에 대해 더 높은 신뢰도를 보이며, 깊이 있는 레이어에서는 언어 모델 사전 지식으로 인해 이들이 억압된다는 점을 규명한다.
• 토큰 신뢰도를 기반으로 가장 정보가 풍부한 이전 레이어를 동적으로 선택하고, 그 로짓을 최종 레이어의 출력에 통합한다.
• 동적 소프트 조절 메커니즘이 원래 생성 스타일을 유지하면서도 환각된 출력을 보정한다.
• 이 방법은 근사 탐색, 핵심 샘플링, 빔 서치와 같은 표준 디코딩 전략과 호환된다.
• 재훈련 없이 작동하므로, 어떤 MLLM 아키텍처에도 적용 가능하며 기존 파ip라인에 쉽게 통합할 수 있다.
• 외부 도구나 추가 추론 모듈 없이 모델 내부 활성화를 활용하여 최종 예측을 보정한다.

실험 결과

연구 질문

• RQ1 MLLM는 깊은 레이어에서 환각을 일으키더라도, 이전 레이어에서 시각적 객체를 인지하고 있는가?
• RQ2 언어 모델 사전 지식이 디코딩 과정에서 얼마나 시각 정보를 억압하여 환각을 유도하는가?
• RQ3 재훈련 없이도 이전 레이어의 지식을 동적으로 통합하면 환각 완화에 효과적인가?
• RQ4 DeCo는 기존의 디코딩 기반 및 후처리 방법과 비교해 환각 감소와 추론 효율성 측면에서 어떻게 성능을 내는가?

주요 결과

• MLLM는 이전 레이어에서 시각적 객체를 인지하고 있으며, 진정한 토큰에 대해 더 높은 신뢰도를 보이지만, 언어 모델 사전 지식으로 인해 깊은 레이어에서는 이 인식이 억압된다.
• DeCo는 강력한 기준 모델 대비 이미지 캡션 벤치마크에서 평균 10.8%의 환각 비율 감소를 달성한다.
• 재훈련이 필요 없으며, VCD 및 OPERA보다 환각 억제 성능이 뛰어나면서도 지연 시간은 1.2배로 증가하여 이전 방법들보다 훨씬 낮은 오버헤드를 보인다.
• DeCo는 POPE 및 MME와 같은 VQA 벤치마크에서도 뛰어난 성능을 보이며, 다양한 작업에 걸쳐 광범위한 효과를 입증한다.
• 진실성 향상에도 불구하고 DeCo는 세부 묘사 지표에 약간의 부정적 영향을 미치며, 정확성과 묘사의 풍부함 사이의 상충 관계를 보여준다.