[논문 리뷰] A Survey of Explainable AI in Deep Visual Modeling: Methods and Metrics

Naveed Akhtar|arXiv (Cornell University)|2023. 01. 31.

Multimodal Machine Learning Applications인용 수 5

한 줄 요약

이 논문은 딥 뷰얼 모델 전용으로 설명 가능한 AI(XAI) 방법과 평가 지표에 대한 첫 번째 종합적 설문 조사 결과를 제시한다. 방법은 사후(post-hoc) 및 본질적으로 설명 가능한 접근 방식으로 분류되며, 설명 품질을 평가하기 위한 체계적인 평가 지표 카탈로그가 수록되어 있다. 연구는 상관관계-원인관계 혼동, 방법 설계의 도메인 불일치, 성능-투명성 트레이드오��� 문제와 같은 핵심 과제를 밝혀내며, 분야 발전을 위해 표준화되고 철저한 평가 프레임워크의 필요성을 주장한다.

ABSTRACT

Deep visual models have widespread applications in high-stake domains. Hence, their black-box nature is currently attracting a large interest of the research community. We present the first survey in Explainable AI that focuses on the methods and metrics for interpreting deep visual models. Covering the landmark contributions along the state-of-the-art, we not only provide a taxonomic organization of the existing techniques, but also excavate a range of evaluation metrics and collate them as measures of different properties of model explanations. Along the insightful discussion on the current trends, we also discuss the challenges and future avenues for this research direction.

연구 동기 및 목표

• 기존 문헌에서 부족한 도메인 특화 통합 분석이 존재하는 점을 감안해, 딥 뷰얼 모델에 집중한 XAI 기법에 대한 분류 체계적 리뷰를 제공하는 것.
• 모델 설명의 품질을 측정하는 데 사용되는 평가 지표를 체계적으로 파헤쳐서, 충실도(fidelity), 신뢰성(faithfulness), 내구성(robustness)과 같은 별개의 특성들을 측정하는 방식을 조직화하는 것.
• 특히 '설명(explanation)'과 '해석(interpretation)' 간의 일관성 없는 용어 사용 문제를 명확히 하고, 시각 분야 공동체를 위한 일관된 프레임워크를 수립하는 것.
• 시각 분야의 XAI에서 중요한 과제를 특정하고 분석하는 것—상관관계 대 원인관계 간 격차, 방법 설계 시 도메인 불일치, 성능-투명성 딜레마—그리고 이를 해결하는 방법을 모색하는 것.
• 새로운 설명 방법 개발에서 벗어나, 평가 지표 및 기준 기반 벤치마크를 철저히 설계하고 검증하는 데 연구 초점을 이동시키자고 주장하는 것.

제안 방법

• XAI 방법을 두 가지 주요 유형으로 분류: 사후 기법(예: 백프로파게이션 또는 기울기 기반 방법을 통한 시각화 지도)과 본질적으로 설명 가능한 모델(예: 이해 가능한 모듈 또는 자기 설명 가능한 아키텍처 사용).
• 측정하는 특성에 따라 평가 지표를 분류—충실도, 신뢰성, 내구성, 안정성 등—비교를 위한 체계적인 프레임워크 제공.
• 기본 기법 분석: 사후 설명 가능성 기법(예: 기울기 기반 방법, 예: Grad-CAM), 편차 기반 기법(예: LIME), 게임 이론 기반 접근(예: 셰플리 값).
• 기존 지표의 한계 평가: 통계적 신뢰성 부족과 일관성 부족 문제를 이전 연구(예: Tomsett 등, 2020)에서 확인한 바 있으며, 더 철저한 검증 필요성을 촉구.
• 모델 독립적 vs. 모델 특정 기법 문제 논의: 사후 기법이 종종 기본적인 타당성 검증을 통과하지 못함(예: Adebayo 등, 2018), 설명의 신뢰성에 심각한 영향을 미침.
• 향후 연구는 신뢰할 수 있는 평가 체계 및 합성 기반 기준 데이터 개발을 우선순위로 삼아야 한다는 제안.

실험 결과

연구 질문

• RQ1 딥 뷰얼 모델에 대한 기존 XAI 기법은 기술적 접근과 기반 가정에 기반해 어떻게 체계적으로 분류될 수 있는가?
• RQ2 시각 모델 설명의 품질을 평가하는 데 사용되는 주요 평가 지표는 무엇이며, 충실도, 신뢰성, 내구성과 같은 별개의 특성을 어떻게 측정하는가?
• RQ3 기존 평가 지표가 왜 종종 설명 기법 간 비교를 신뢰할 수 없게 하는가? 이러한 일관성 부족의 근본 원인은 무엇인가?
• RQ4 현재 XAI 기법은 상관관계를 원인관계로 혼동하는 정도가 어느 정도이며, 원인관계 추론을 설명 기법에 어떻게 더 잘 통합할 수 있는가?
• RQ5 시각 분야의 XAI에서 해결되지 않은 주요 과제는 무엇이며, 도메인 불일치, 성능-투명성 트레이드오프, 기준 데이터 부족 문제를 어떻게 해결할 수 있는가?

주요 결과

• 시각 모델에 대한 XAI 문헌은 사후 기법에 의해 지배되어 있으며, 이는 개별 예측에 대한 설명은 가능하지만 모델의 총체적 투명성 향상에는 기여하지 않아 장기적 유용성에 대한 우려를 제기한다.
• 충실도 및 신뢰성 등 주로 사용되는 평가 지표는 통계적 신뢰성 부족과 일관성 부족 문제를 겪고 있으며, 이는 이전의 경험적 연구에서 입증된 linе.
• 많은 설명 기법이 기본적인 타당성 검증을 통과하지 못한다—예를 들어 입력 특징을 제거해도 시각화 지도가 변하지 않는 경우—이로 인해 설계에 근본적인 결함이 존재함을 시사한다.
• XAI 기법의 영감 원천(예: 게임 이론, 경제학)과 시각 도메인 사이에 심각한 불일치가 존재하며, 특히 이미지 특징의 '부재' 정의에서 문제가 발생하여, 경로 기반 할당 기법 등 일부 방법의 타당성이 떨어진다.
• 규제 기관들이 투명성이 필수적이라고 공감하고 있음에도 불구하고, 현재 최첨단 모델들은 성능을 위해 설명 가능성의 희생을 감수하고 있어, 성능과 투명성을 균형 있게 유지할 수 있는 새로운 아키텍처 및 학습 프레임워크가 필요하다.
• 해석 가능한 방법의 객관적, 반복 가능하고 신뢰할 수 있는 벤치마크를 가능하게 하기 위해 평가 프레임워크 및 합성 기준 데이터에 대한 전용 연구가 급히 필요하다.