[논문 리뷰] An Introduction to Deep Visual Explanation

Housam Khalifa Bashier Babiker, Randy Goebel|arXiv (Cornell University)|2017. 11. 26.

Data Visualization and Analytics참고 문헌 15인용 수 14

한 줄 요약

이 논문은 다중 척도 푸리에 활성도 분석을 통해 분류 결정에 기여하는 특징을 시각화함으로써 딥 컨volution 네트워크(DCNNs)를 해석하는 데 사용되는 Deep Visual Explanation(DVE) 프레임워크를 소개한다. 재학습이 필요 없이 예측에 영향을 주는 주목할 만한 이미지 영역을 효율적으로 식별하여, 이미지당 약 0.0006초 이내에 정확하고 해석 가능한 설명을 도출한다. 이는 이미지 분류 및 의료용 피부 병변 진단 분야에서 검증된 성과를 보였다.

ABSTRACT

The practical impact of deep learning on complex supervised learning problems has been significant, so much so that almost every Artificial Intelligence problem, or at least a portion thereof, has been somehow recast as a deep learning problem. The applications appeal is significant, but this appeal is increasingly challenged by what some call the challenge of explainability, or more generally the more traditional challenge of debuggability: if the outcomes of a deep learning process produce unexpected results (e.g., less than expected performance of a classifier), then there is little available in the way of theories or tools to help investigate the potential causes of such unexpected behavior, especially when this behavior could impact people's lives. We describe a preliminary framework to help address this issue, which we call "deep visual explanation" (DVE). "Deep," because it is the development and performance of deep neural network models that we want to understand. "Visual," because we believe that the most rapid insight into a complex multi-dimensional model is provided by appropriate visualization techniques, and "Explanation," because in the spectrum from instrumentation by inserting print statements to the abductive inference of explanatory hypotheses, we believe that the key to understanding deep learning relies on the identification and exposure of hypotheses about the performance behavior of a learned deep model. In the exposition of our preliminary framework, we use relatively straightforward image classification examples and a variety of choices on initial configuration of a deep model building scenario. By careful but not complicated instrumentation, we expose classification outcomes of deep models using visualization, and also show initial results for one potential application of interpretability.

연구 동기 및 목표

• 딥 러닝에서 예측이 예상치 못하거나 고위험도의 결과를 낼 때 발생하는 설명 가능성 문제를 해결하기 위해.
• 빠르고 인간이 이해할 수 있는 방식으로 딥 네트워크의 내부 행동을 해석할 수 있는 시각화 기반 프레임워크를 개발하기 위해.
• 특히 의료 진단과 같은 민감한 분야에서 DCNN이 특정 예측을 내리는 이유를 파악할 수 있는 디버깅 도구를 제공하기 위해.
• 모델의 의사결정 과정에서 가장 영향력 있는 특징을 폭넓고 계산적으로 효율적인 방식으로 노출하는 일반화 가능한 방법을 개발하기 위해.
• 이 프레임워크의 효과성을 이미지 분류 및 의료 영상 분석 분야에서 입증하여, 강건성과 해석 가능성의 가능성을 보여주기 위해.

제안 방법

• 분류 결정에 기여하는 고·저 공간 주파수 성분의 활성도 패턴을 식별하기 위해 다중 척도 푸리에 공간 분석을 사용한다.
• 다양한 주파수 성분이 최종 예측에 기여하는 방식을 분석함으로써 분류에 기여하는 이미지 패치를 시각화한다.
• 재학습이나 최적화 문제 해결이 필요 없어 계산적으로 효율적이며, 사전 훈련된 모델에 적용 가능한 점이 특징이다.
• 이미지에 가우시안 블러를 적용하고 예측 신뢰도 및 주의 영역의 변화를 관찰함으로써 모델의 강건성을 평가한다.
• 이 프레임워크는 이미지 분류에 사용된 VGG-16과 피부 병변 분류를 위한 사전 훈련된 모델에 적용되어 실제 작업에서의 해석 가능성에 대한 검증을 수행하였다.
• 네트워크 출력에 가장 큰 영향을 주는 최소한의 주목할 만한 영역을 강조함으로써 시각적 설명을 생성한다.

실험 결과

연구 질문

• RQ1 딥 컨volution 네트워크의 의사결정 과정을 인간이 이해할 수 있고 효율적인 방식으로 어떻게 시각적으로 설명할 수 있는가?
• RQ2 이미지 내에서 DCNN의 예측에 가장 영향을 주는 특징는 무엇이며, 어떻게 이를 고립하고 시각화할 수 있는가?
• RQ3 재학습이나 아키텍처 변경 없이도 사전 훈련된 모델에 적용 가능한 시각화 기반 설명 프레임워크를 도입할 수 있는가?
• RQ4 이미지 품질 악화, 예를 들어 블러 처리에 대해 DCNN의 예측은 얼마나 강건한가? 이는 특징 의존성에 대해 무엇을 드러내는가?
• RQ5 제안된 방법은 의료 영상 분류와 같은 고위험도 분야에서 의미 있고 실질적인 인사이트를 제공할 수 있는가?

주요 결과

• DVE 프레임워크는 DCNN의 예측에 영향을 주는 가장 분류적 특징을 효과적으로 식별하고 시각화하여, 정확한 분류와 잘못된 분류 모두에 대해 해석 가능성을 향상시켰다.
• 높은 계산 효율성을 달성하여, 인텔 코어 i7 CPU에서 각 이미지 처리에 약 6 × 10⁻⁴초가 소요되었다.
• 프레임워크는 DCNN가 일반적인 이미지 구조보다 특정 국소적 픽셀 패턴에 의존하고 있음을 드러내었으며, 이는 이미지가 블러 처리된 경우 정확한 분류에 실패하는 것으로 확인되었다.
• 의료 영상 분석 분야에서는 네트워크가 피부 병변을 양성 또는 악성으로 분류하는 데 사용하는 가장 관련 있는 영역(예: 병변 특징)을 명확히 강조하였다.
• COCO 데이터셋 이미지와 피부 내시경 스캔을 포함한 다양한 이미지 유형에 대해 해석 가능하고 일관된 시각적 설명을 제공하였다.
• 일부 경우에서는 블러 처리에 대해 강건성을 보였지만, 핵심 특징이 가림을 당할 경우 모델의 취약성을 드러내어 정밀한 픽셀 수준의 세부 정보에 의존하고 있음을 시사하였다.