[논문 리뷰] Explainability for Vision Foundation Models: A Survey

Rémi Kazmierczak, Eloïse Berthier외 2명|ArXiv.org|2025. 01. 21.

Organizational Management and Leadership인용 수 3

한 줄 요약

본 조사는 비전 기본 모델(PFMs)과 설명 가능한 AI(XAI)의 교차 지점을 맵핑하여 122편의 논문을 수집하고, 방법을 고유하게 설명가능한 방식과 사후(post-hoc) 접근 방식으로 분류하며, 평가 관행과 향후 과제를 개요로 제시합니다.

ABSTRACT

As artificial intelligence systems become increasingly integrated into daily life, the field of explainability has gained significant attention. This trend is particularly driven by the complexity of modern AI models and their decision-making processes. The advent of foundation models, characterized by their extensive generalization capabilities and emergent uses, has further complicated this landscape. Foundation models occupy an ambiguous position in the explainability domain: their complexity makes them inherently challenging to interpret, yet they are increasingly leveraged as tools to construct explainable models. In this survey, we explore the intersection of foundation models and eXplainable AI (XAI) in the vision domain. We begin by compiling a comprehensive corpus of papers that bridge these fields. Next, we categorize these works based on their architectural characteristics. We then discuss the challenges faced by current research in integrating XAI within foundation models. Furthermore, we review common evaluation methodologies for these combined approaches. Finally, we present key observations and insights from our survey, offering directions for future research in this rapidly evolving field.

연구 동기 및 목표

• 비전 기본 모델이 컴퓨터 비전에서 XAI를 가능하게 하는 방식의 요약.
• 비전 과제에서 사전 학습된 기초 모델(PFMs)을 활용하는 XAI 방법을 카탈로그화하고 분류합니다.
• PFMs의 비전에서 설명이 어떻게 생성되고 저장되며 평가되는지 평가합니다.
• 비전 PFMs와 XAI를 통합하는 데 있어 격차, 도전 과제 및 향후 연구 방향을 식별합니다.

제안 방법

• 비전 분야에서 XAI와 PFMs를 연결하는 122편의 연구 코퍼스를 구성합니다.
• PFMs 맥락에 기초한 XAI 방법의 분류 체계를 제공합니다.
• 두 가지 기본 범주를 구분합니다: 본래 설명가능한 모델과 사후(post-hoc) 방법.
• 설명에 대한 평가 방법론과 한계를 논의합니다.
• 향후 연구를 안내할 도전 과제와 남아 있는 문제들을 강조합니다.

실험 결과

연구 질문

• RQ1 비전 PFMs가 XAI 방법(본래 설명가능한 모델 대 사후 방법)을 촉진하는 데 어떻게 사용되나요?
• RQ2 비전 분야에서 PFMs로 생성된 설명에 대한 주류 평가 방법론은 무엇인가요?
• RQ3 비전에서 PFMs와 XAI의 교차 지점에 존재하는 도전 과제와 미해결 문제는 무엇인가요?
• RQ4 비전 PFMs를 활용한 XAI를 발전시키기 위한 향후 방향은 무엇이 제시되고 있나요?

주요 결과

• 비전에서 XAI와 기초 모델을 연결하는 122편의 포괄적 코퍼스가 수집되었습니다.
• 분류 체계는 방법을 본래 설명가능한 모델과 사후 설명으로 구성하고 하위 유형의 상세한 분해를 제공합니다.
• PFMs는 의미 있는 개념을 내재화하고 멀티모달 기능(예: CLIP, Grounding DINO)을 활용한 설명으로 XAI를 가능하게 합니다.
• 평가 동향은 질적 및 양적 지표를 모두 포함하며, 데이터셋별 벤치마크와 메타-설명에 대한 의존도가 두드러집니다.
• 본 조사는 핵심 도전 과제와 미해결 질문을 식별하고, 비전 분야에서 PFMs와 XAI의 통합에 대한 향후 연구 방향을 제시합니다.