[논문 리뷰] Analysis of Explainers of Black Box Deep Neural Networks for Computer Vision: A Survey

Vanessa Buhrmester, David Münch외 1명|arXiv (Cornell University)|2019. 11. 27.

Explainable Artificial Intelligence (XAI)인용 수 51

한 줄 요약

컴퓨터 비전에서 블랙박스 딥 뉴럴 네트워크를 위한 설명자에 대한 포괄적 고찰로, 분류 체계, 기제, 특성 및 연구 격차를 다루며 투명성과 신뢰를 향상시킨다.

ABSTRACT

Deep Learning is a state-of-the-art technique to make inference on extensive or complex data. As a black box model due to their multilayer nonlinear structure, Deep Neural Networks are often criticized to be non-transparent and their predictions not traceable by humans. Furthermore, the models learn from artificial datasets, often with bias or contaminated discriminating content. Through their increased distribution, decision-making algorithms can contribute promoting prejudge and unfairness which is not easy to notice due to lack of transparency. Hence, scientists developed several so-called explanators or explainers which try to point out the connection between input and output to represent in a simplified way the inner structure of machine learning black boxes. In this survey we differ the mechanisms and properties of explaining systems for Deep Neural Networks for Computer Vision tasks. We give a comprehensive overview about taxonomy of related studies and compare several survey papers that deal with explainability in general. We work out the drawbacks and gaps and summarize further research ideas.

연구 동기 및 목표

• 최신 벤치마크의 컴퓨터 비전에서 사용되는 심층 신경망 설명자에 대한 포괄적 개요를 제공한다.
• 설명 시스템의 기제와 속성(ante-hoc vs post-hoc, local vs global, 모델-특정 vs 모델-독립)을 구분한다.
• 설명 가능 AI for 비전 작업에서 연구를 이끌기 위한 방법론적 강점, 한계 및 격차를 강조한다.

제안 방법

• 설명자를 시각화, 그래디언트 기반 방법, 디컨볼루션/역전 접근법, 분해 및 규칙 추출 기술, 모델-독립적 post-hoc 방법으로 분류한다.
• ante-hoc vs post-hoc 설명 및 local vs global 설명에 대해 논의한다.
• 대표적인 설명 방법(LIME, Grad-CAM, CAM, LRP, Deep Taylor Decomposition, PDA, Deconvnet)과 비전에서 CNN에의 적용 가능성을 요약한다.
• 설명의 속성(해석가능성, 설명가능성, 완전성, 간결성, 충실도, 신뢰)을 설명한다.
• 설명 가능성 개념과 윤리적 고려사항(공정성, 투명성, GDPR 유사한 설명) 간의 연계를 제시한다.

실험 결과

연구 질문

• RQ1 컴퓨터 비전에서 딥 뉴럴 네트워크를 설명하는 주요 카테고리와 기제는 무엇인가?
• RQ2 다른 설명자가 비전 모델에 적용될 때 해석가능성, 완전성, 충실도 간의 trade-off는 어떻게 나타나는가?
• RQ3 CNN 기반 비전 작업에서 현행 설명 가능성 접근법의 격차나 단점은 무엇이며 향후 연구의 방향은 무엇인가?

주요 결과

• 설명의 광범위한 분류 체계가 존재하며, 시각화, 그래디언트, 디컨볼루션, 분해, 규칙 추출 및 LIME과 같은 모델-독립적 방법이 포함된다.
• 설명 가능성 개념은 해석가능성, 설명가능성, 이해가능성 및 완전성을 구분하며, 간결성은 유한하고 이해 가능한 설명을 보장한다.
• 주요 방법으로 LRP, Deep Taylor Decomposition, CAM/Grad-CAM, Grad-CAM++, LIME, PDA, Deconvnet, Smooth-Grad, Activation Atlas가 논의되며 각 방법은 특정 적용성 및 한계가 있다.
• post-hoc 지역 설명(LIME, Grad-CAM, Smooth-Grad)은 개별 예측에 대한 설명을 제공하는 반면, ante-hoc 또는 글로벌 접근법(BRL, BETA)은 전체 모델 이해를 목표로 한다.
• 이 논문은 비슷한 편향, 투명성 및 GDPR 같은 규제 압박을 포함한 윤리적·공정성 동기를 강조하고, 설명을 통한 신뢰 구축의 중요성을 강조한다.