[논문 리뷰] Attribution-based XAI Methods in Computer Vision: A Review

Kumar Abhishek, Deeksha Kamath|arXiv (Cornell University)|2022. 11. 27.

Explainable Artificial Intelligence (XAI)인용 수 14

한 줄 요약

이 논문은 컴퓨터 비전 분야의 속성 기반 해석 가능한 AI(XAI) 방법에 대한 종합적인 리뷰를 제공하며, 기울기 기반, 펌불 기반, 대비 기반 접근법으로 분류한다. 각 방법의 강점, 한계, 신뢰성에 대해 평가하면서 입력 이동에 대한 민감성과 타당성 검증 실패와 같은 심각한 결함을 지적하며, 후행적 해석보다는 더 견고한 평가 기준과 내재된 해석 가능성의 모델 개발을 주장한다.

ABSTRACT

The advancements in deep learning-based methods for visual perception tasks have seen astounding growth in the last decade, with widespread adoption in a plethora of application areas from autonomous driving to clinical decision support systems. Despite their impressive performance, these deep learning-based models remain fairly opaque in their decision-making process, making their deployment in human-critical tasks a risky endeavor. This in turn makes understanding the decisions made by these models crucial for their reliable deployment. Explainable AI (XAI) methods attempt to address this by offering explanations for such black-box deep learning methods. In this paper, we provide a comprehensive survey of attribution-based XAI methods in computer vision and review the existing literature for gradient-based, perturbation-based, and contrastive methods for XAI, and provide insights on the key challenges in developing and evaluating robust XAI methods.

연구 동기 및 목표

• 컴퓨터 비전 분야의 속성 기반 XAI 방법에 대한 종합적 설문 조사를 제공하며, 기울기 기반, 펌불 기반, 대비 기반 접근법에 집중한다.
• 기존 XAI 방법의 강점, 약점, 그리고 딥 컨volution 네트워크 예측을 설명하는 데서의 상호 상충 관계를 분석한다.
• 입력 편향과 파rameter 무작위화에 대한 저항성 평가를 통해 현재 XAI 방법의 신뢰성과 타당성을 비판적으로 평가한다.
• 특히 고위험 응용 분야에서 후행적 설명 방법이 모델 결정에 대한 의미 있는 통찰을 제공하는 데서의 한계를 부각한다.
• 후행적 설명 기술에 의존하는 취약한 방법보다는 개선된 평가 기준과 내재된 해석 가능성의 모델 개발을 주장한다.

제안 방법

• 속성 기반 XAI 방법을 세 가지 주요 유형으로 분류한다: 기울기 기반(예: Grad-CAM, 통합 기울기), 펌불 기반(예: 막힘 민감도), 대비 기반 방법(예: Score-CAM, FullGrad).
• 가상의 역전파, Grad-CAM, 통합 기울기와 같은 핵심 기법을 검토하며, 입력 보간에 따른 기울기 통합 또는 기울기 역전파를 통해 특성 속성 기여도를 계산한다.
• 정성적 및 정량적 지표를 사용해 방법을 평가한다. 여기에는 충실도, 일관성, 입력 편향에 대한 저항성 등이 포함된다.
• 모델 파rameter와 데이터를 무작위화하여 '타당성 검증'을 수행함으로써 설명이 학습된 가중치에 의존하는지 여부 또는 허구적인지 테스트한다.
• 픽셀 마스킹을 통한 벤치마킹을 적용함으로써, 고속성도 픽셀을 무작위 값으로 대체함으로써 설명이 모델 성능 저하와 일치하는지 평가한다.
• 입력 이동과 인식할 수 없는 편향이 설명의 안정성에 미치는 영향을 분석하여, 통합 기울기 및 딥 타일러 분해와 같은 방법의 취약성을 드러낸다.

실험 결과

연구 질문

• RQ1 기울기 기반, 펌불 기반, 대비 기반 XAI 방법은 딥 컨volution 네트워크의 입력 특성에 중요도를 할당하는 데서 어떤 방식으로 다름가?
• RQ2 기존 XAI 방법은 입력 편향, 파rameter 무작위화, 입력 이동에 대해 어느 정도 견고한가?
• RQ3 현재 XAI 방법은 이미지의 진정한 결정 관련 영역을 신뢰성 있게 식별할 수 있는가, 아니면 오해의 소지가 있는 설명을 생성하는가?
• RQ4 후행적 설명 방법이 딥 러닝 모델 행동에 대한 의미 있는 통찰을 제공하는 데서의 주요 한계는 무엇인가?
• RQ5 취약한 후행적 설명 기술에 의존하는 것에서 벗어나 내재된 해석 가능성의 모델로 향하는 실현 가능한 길이 존재하는가?

주요 결과

• 가장 널리 사용되는 XAI 방법들, 예를 들어 가상의 역전파와 가상의 Grad-CAM는 기본적인 타당성 검증에 실패하여, 학습된 가중치나 데이터와 무관하게 작동함을 나타낸다.
• 소리 없는 이미지 편향이 모델 예측을 변화시키지 않더라도, 시각적 속성 지도는 조작될 수 있으며 이는 그들의 부신뢰성을 입증한다.
• 통합 기울기 및 딥 타일러 분해와 같은 방법들은 입력 이동에 대해 불변성이 없으며, 간단한 입력 변환을 통해 속임수를 둘 수 있다.
• XAI 방법이 식별한 고속성도 픽셀을 제거하면 성능 저하가 심각하게 발생하며, 이는 일부 경우에서 충실도가 검증됨을 의미하지만, 이는 견고성이 확보된 경우에만 해당된다.
• 시각적 속성 지도와 인간의 인지 사이에 근본적인 괴리가 존재하며, 모델이 인간과 다른 영역에 주목하는 경향이 있다.
• 해석 가능성과 정확도 사이의 상호 상충 관계는 잘못된 믿음이며, 해석 가능성 향상은 모델 성능 향상과도 연결될 수 있다. 따라서 내재된 해석 가능성의 모델 개발을 우선시해야 한다.