[논문 리뷰] LVLM-Interpret: An Interpretability Tool for Large Vision-Language Models

Gabriela Ben Melech Stan, Estelle Aflalo외 8명|arXiv (Cornell University)|2024. 04. 03.

Semantic Web and Ontologies인용 수 4

한 줄 요약

LVLM-Interpret는 대규모 시각-언어 모델(LVLM)의 상호작용적 해석 가능성 도구로, 이미지 패치와 생성된 토큰 간의 주의, 관련성, 인과적 관계를 시각화합니다. 이 도구를 통해 사용자는 LLaVA에서 환각 현상과 모델 실패를 진단할 수 있으며, 출력에 가장 영향을 미치는 이미지 영역과 텍스트 토큰을 식별함으로써 모델이 시각적 입력보다 어휘적 표현에 더 의존하는 경우를 드러냅니다.

ABSTRACT

In the rapidly evolving landscape of artificial intelligence, multi-modal large language models are emerging as a significant area of interest. These models, which combine various forms of data input, are becoming increasingly popular. However, understanding their internal mechanisms remains a complex task. Numerous advancements have been made in the field of explainability tools and mechanisms, yet there is still much to explore. In this work, we present a novel interactive application aimed towards understanding the internal mechanisms of large vision-language models. Our interface is designed to enhance the interpretability of the image patches, which are instrumental in generating an answer, and assess the efficacy of the language model in grounding its output in the image. With our application, a user can systematically investigate the model and uncover system limitations, paving the way for enhancements in system capabilities. Finally, we present a case study of how our application can aid in understanding failure mechanisms in a popular large multi-modal model: LLaVA.

연구 동기 및 목표

• 대규모 시각-언어 모델(LVLM)에서 복잡한 추론을 해석하는 데 도전하는 문제, 특히 환각 현상과 시각적 입력과의 이질성에 대응하기 위해.
• LVLM의 출력이 이미지 및 텍스트 입력에 어떻게 기반을 두는지를 체계적으로 탐색할 수 있는 상호작용 인터페이스를 개발하기 위해.
• 주어진 출력 토큰에 영향을 미치는 최소한의 이미지 및 텍스트 토큰 조합을 인과적 해석 방법으로 식별함으로써 LVLM의 실패 메커니즘(예: 시각적 콘텐츠보다 어휘적 표현에 과도하게 의존하는 것)을 규명하기 위해.
• 실제 실패 사례(예: 동일한 이미지에 대해 질문 어휘에 따라 모순된 응답을 내는 경우)에서 모델 행동을 진단하는 데 도구의 유용성을 입증하기 위해.
• 비디오 인코더와 동결된 언어 모델 프론트엔드를 갖춘 임의의 트랜스포머 기반 LVLM에 적용 가능한 일반 목적의 해석 가능성 프레임워크를 제공하기 위해.

제안 방법

• 모델의 모든 트랜스포머 레이어와 헤드에서 이미지 패치와 텍스트 토큰 간의 원시 주의 가중치를 시각화하여 특정 출력 토큰에 영향을 주는 이미지 영역를 확인할 수 있도록 합니다.
• 기울기 기반 할당 방법을 사용해 토큰 수준의 관련성 점수를 계산하여, 출력에 가장 큰 영향을 미치는 입력 특징(이미지 또는 텍스트)을 강조합니다.
• 최종 레이어의 주의 행렬에서 인과적 발견 알고리즘을 적용해 조건부로 출력에 영향을 주는 최소한의 이미지 및 텍스트 토큰 조합을 구성하는 부분 조상 그래프를 구축합니다.
• 인터페이스는 이미지 편집을 통한 상호작용 탐색을 지원하여 사용자가 입력 이미지를 수정하고 주의 및 출력의 변화를 관찰할 수 있도록 합니다.
• Gradio로 구축된 통합 사용자 친화적 대시보드에 원시 주의, 관련성 맵, 인과 그래프 등의 다양한 해석 가능성 기법을 통합합니다.
• 프레임워크는 MMVP 벤치마크를 활용해 LLaVA-v1.5-7b에 적용되었으며, 시각적 모호성 또는 텍스트 조작으로 인한 실패 사례를 분석하기 위해 사용되었습니다.

Figure 1 : Main interface of LVLM-Interpret. Users can issue multimodal queries using a chatbot interface. Basic image-editing feature allows for model probing.

실험 결과

연구 질문

• RQ1 LVLM의 주의 패턴은 시각적 입력이 모호하거나 오도될 경우 환각 현상과 어떻게 관련되어 있나요?
• RQ2 LVLM가 답변을 생성할 때 어휘적 표현에 비해 시각적 콘텐츠에 얼마나 의존하는지, 그리고 이를 정량적으로 측정할 수 있는가요?
• RQ3 인과적 해석 방법은 특정 출력 토큰에 영향을 주는 최소한의 이미지 및 텍스트 토큰 조합을 식별할 수 있으며, 이는 모델 실패 진단에 어떻게 기여할 수 있나요?
• RQ4 적대적 이미지 편집은 주의 및 출력에 어떤 영향을 미치며, 모델의 내구성에 대한 통찰을 제공할 수 있나요?
• RQ5 LVLM-Interpret과 같은 해석 도구는 모델이 시각적 특징보다 프롬프트 어휘에 과도하게 피팅되는 등의 체계적 편향을 드러낼 수 있나요?

주요 결과

• LLaVA는 질문의 어휘에 따라 동일한 이미지에 대해 일관되지 않은 응답을 내보내며, 예를 들어 쓰레기 수거차 문이 열려 있거나 닫혀 있다고 주장함으로써 어휘적 신호에 과도하게 의존하고 있음을 보여줍니다.
• 관련성 맵 분석 결과, 이러한 실패 사례에서는 텍스트 토큰의 관련성 점수가 이미지 토큰보다 유의미하게 높게 나타나, 모델이 출력을 시각적 입력에 기반시키지 않고 있음을 확인합니다.
• 반대로, LLaVA가 올바르게 물체의 속성(예: 셔츠 색상)을 식별할 경우, 이미지 토큰의 관련성 점수가 텍스트 토큰보다 높게 나타나 시각적 일관성이 있음을 입증합니다.
• 인과 그래프 분석을 통해 특정 출력 토큰(예: 노란색)에 영향을 주는 최소한의 이미지 패치 조합을 성공적으로 식별하여 모델 추론을 대상으로 탐색할 수 있었습니다.
• MMVP 데이터셋의 CLIP-블라인드 쌍에서 LLaVA는 이미지가 시각적으로 구분 가능하더라도, 시각적 특징과 텍스트 질의 간의 주의가 일치하지 않아 종종 실패함을 드러냈습니다.
• 이미지 편집 실험 결과, 시각적 특징을 수정할 경우 모델 출력이 예측 가능하게 변화함을 확인했지만, 이는 모델이 정확한 이미지 영역에 주의를 기울일 때만 성립함을 보여주어, 주의 시각화가 실패 원인 진단에 얼마나 중요한지 확인합니다.

(a) Image-to-Query raw attentions. The user is able to select a token or a group of tokens to visualize the attention values of image to text output for each head and layer.