[논문 리뷰] OPERA: Alleviating Hallucination in Multi-Modal Large Language Models via Over-Trust Penalty and Retrospection-Allocation

Qidong Huang, Xiaoyi Dong외 7명|arXiv (Cornell University)|2023. 11. 29.

Big Data and Digital Economy인용 수 5

한 줄 요약

OPERA는 다중 모odal 대규모 언어 모델(MLLM)을 위한 새로운 디코딩 방법으로, 초과 신뢰 페널티와 후행 할당 전략을 도입하여 환상 현상을 감소시킨다. 이 방법은 생성 과정에서 요약 토큰에 과도하게 의존하는 어텐션 패턴을 탐지하고 페널티를 적용하며, 이러한 패턴이 감지될 경우 롤백 및 후보 토큰 재할당을 가능하게 하여 추가 데이터, 지식, 또는 훈련 없이도 환상 현상을 크게 감소시킨다.

ABSTRACT

Hallucination, posed as a pervasive challenge of multi-modal large language models (MLLMs), has significantly impeded their real-world usage that demands precise judgment. Existing methods mitigate this issue with either training with specific designed data or inferencing with external knowledge from other sources, incurring inevitable additional costs. In this paper, we present OPERA, a novel MLLM decoding method grounded in an Over-trust Penalty and a Retrospection-Allocation strategy, serving as a nearly free lunch to alleviate the hallucination issue without additional data, knowledge, or training. Our approach begins with an interesting observation that, most hallucinations are closely tied to the knowledge aggregation patterns manifested in the self-attention matrix, i.e., MLLMs tend to generate new tokens by focusing on a few summary tokens, but not all the previous tokens. Such partial over-trust inclination results in the neglecting of image tokens and describes the image content with hallucination. Based on the observation, OPERA introduces a penalty term on the model logits during the beam-search decoding to mitigate the over-trust issue, along with a rollback strategy that retrospects the presence of summary tokens in the previously generated tokens, and re-allocate the token selection if necessary. With extensive experiments, OPERA shows significant hallucination-mitigating performance on different MLLMs and metrics, proving its effectiveness and generality. Our code is available at: https://github.com/shikiw/OPERA.

연구 동기 및 목표

• 자율 주행과 같은 실제 응용 분야에서 신뢰를 떨어뜨리는 다중 모달 LLM(MLLM)에서 널리 퍼져 있는 환상 문제를 해결한다.
• 모델이 일부 요약 토큰에 과도하게 의존하면서 이미지 토큰을 忽시하는 자기 어텐션 행렬 내 지식 집합 패턴과 환상이 강하게 연관되어 있음을 규명한다.
• 추가 훈련 데이터, 외부 지식, 또는 모델 미세조정 없이 추론 중 환상 현상을 완화할 수 있는 방법을 개발한다.
• 유해한 어텐션 패턴을 탐지하고 후보 토큰의 동적 재할당을 가능하게 하는 디코딩 전략을 설계한다.

제안 방법

• 자기 어텐션 맵의 국소 윈도우에서 계산된 초과 신뢰 페널티 항목을 도입하여, 요약 토큰 쪽으로 열 기반 어텐션 강도를 측정함으로써 이전 토큰 몇 개에 대한 과도한 의존도를 탐지한다.
• 빔 서치 디코딩에 페널티를 통합하여, 강한 초과 신뢰 패턴을 보이는 후보 토큰의 로짓 점수를 낮춰 선택 확률을 감소시킨다.
• 최대 윈도우 내 페널티 점수의 겹침 비율이 임계값을 초과할 경우 작동하는 후행 할당 메커니즘을 구현하여 요약 토큰으로 롤백하고 후보를 재선택함으로써 환상적인 경로를 피한다.
• 슬라이딩 윈도우 내 어텐션 맵에서 지식 집합 강도를 측정하기 위해 열 기반 지표를 사용하며, 환상 발생과 관련된 패턴에 집중한다.
• 모델 가중치를 수정하지 않고도 기존 MLLM에 즉시 통합 가능한 플러그 앤 플레이 방식으로 빔 서치 디코딩 중에 방법을 적용한다.
• 생성된 기술 설명의 인간처럼 사실적이고 세부적인 점수를 평가하기 위해 GPT-4V를 판단 모델로 활용한다.

실험 결과

연구 질문

• RQ1 MLLM에서의 환상은 자기 어텐션 행렬 내 특정 지식 집합 패턴과 어느 정도 관련이 있는가?
• RQ2 추가 훈련이나 외부 지식 없이도 어텐션 기반 페널티 메커니즘이 디코딩 중 환상 현상을 효과적으로 감소시킬 수 있는가?
• RQ3 초과 신뢰 패턴이 감지되었을 때 후행 할당 전략이 후보 토큰의 동적 재선택을 통해 사실적 일관성을 향상시키는가?
• RQ4 OPERA는 다양한 MLLM과 지시 유형, 특히 장문 생성에서 얼마나 효과적인가?
• RQ5 반복 현상은 환상과 유사한 어텐션 패턴을 공유하므로 OPERA가 반복 현상도 완화할 수 있는가?

주요 결과

• 환상은 자기 어텐션 행렬 내 열 기반 어텐션 패턴과 강하게 연관되어 있으며, 환상적 내용과 이러한 패턴 간의 동시 발생 비율이 80%–95%에 이른다.
• LLaVA-1.5-7B, InstructBLIP-7B, Shikra-7B를 포함한 여러 MLLM에서 OPERA가 환상 현상을 감소시키며 정확도 및 세부성 지표에서 일관된 성능 향상을 보였다.
• GPT-4V 기반 평가에서 상당한 향상이 이루어졌으며, 사실성 및 세부성 점수 모두 높아져 사실 오류 감소 효과를 입증했다.
• 장문의 시퀀스에서 OPERA는 환상이 지식 집합 패턴 이후 더 자주 발생할 가능성이 있는 점에서 특히 효과적이며, 짧은 답변(<10 토큰)에서는 패턴 탐지의 히스테리시스로 인해 약간의 성능 향상만을 보였다.
• 반복 현상 또한 감소시키며, 반복 문장에서 반복적인 어텐션 패턴이 후행 및 재할당을 유도해 종종 조기 EOS 토큰 선택로 이어진다.
• 실패 케이스는 주로 강한 모델 편향(예: ‘road’ → ‘cars’) 또는 약한 시각 인식 능력(예: 저해상도 또는 형태 유사 객체)으로 인한 것으로, 이는 본 방법의 범위를 초월한 모델의 본질적 한계를 시사한다.