[논문 리뷰] Contextual Prediction Difference Analysis.

Jindong Gu, Volker Tresp|arXiv (Cornell University)|2019. 10. 21.

Explainable Artificial Intelligence (XAI)참고 문헌 39인용 수 7

한 줄 요약

이 논문은 맥락적 편향을 통한 예측 차이 분석(CPDA)을 제안하며, 모델에 종속되지 않는 방법으로 블랙박스 분류기의 해석을 빠르고 정확하게 향상시키기 위해 맥락 기반의 편향을 효율적으로 추정함으로써 기능 중요도를 추정한다. 기존의 PDA와 같은 방법의 한계를 해결하여 포화 상태의 신경망 분류기에서 성능을 향상시키며, 최대 100배의 속도 향상을 달성하면서도 최신 딥 러닝 및 상용 시각 시스템에서 높은 품질의 샐리언시 맵을 유지한다.

ABSTRACT

The interpretation of black-box models has been investigated in recent years. A number of model-aware saliency methods were proposed to explain individual classification decisions by creating saliency maps. However, they are not applicable when the parameters and the gradients of the underlying models are unavailable. Recently, model-agnostic methods have received increased attention. As one of them, Prediction Difference Analysis (PDA), a probabilistic sound methodology, was proposed. In this work, we first show that PDA can suffer from saturated classifiers. The saturation phenomenon of classifiers exists widely in current neural network-based classifiers. To understand the decisions of saturated classifiers better, we further propose Contextual PDA, which runs hundreds of times faster than PDA. The experiments show the superiority of our method by explaining image classifications of the state-of-the-art deep convolutional neural networks. We also apply our method to commercial general vision recognition systems.

연구 동기 및 목표

• 포화된 신경망 분류기에 적용될 때 기존의 모델에 종속되지 않는 설명 방법(PDA)의 한계를 해결하기 위해.
• 계산 비용을 줄이면서도 확률론적 타당성을 유지하는 더 빠르고 신뢰할 수 있는 PDA의 대안을 개발하기 위해.
• 고성능 딥 컨volution 신경망과 상용 시각 시스템의 효과적인 해석을 가능하게 하기 위해.
• 기울기나 모델 파라미터가 이용 불가능한 상황에서 샐리언시 맵의 정밀도와 효율성을 향상시키기 위해.

제안 방법

• CPDA는 국소적 기능 통계를 기반으로 입력 편향을 선택함으로써 분산을 줄이고 수렴을 향상시키는 맥락 기반 편향 전략을 도입한다.
• PDA와 유사한 확률론적 프레임워크를 활용하지만, 수렴 속도를 높이기 위해 맥락 인식 기능 마스킹을 사용해 샘플링 과정을 최적화한다.
• 입력의 국소적 이웃에 따라 편향 분포를 동적으로 조정함으로써 필요한 전방 전파 수를 줄인다.
• CPDA는 분산 감소 기법을 사용한 몬테카를로 근사법을 활용해 예측 차이를 효율적으로 추정한다.
• 기울기나 모델 파라미터에 의존하지 않아 상용 API를 포함한 블랙박스 시스템에 적용 가능하다.
• 알고리즘은 계산 효율성이 뛰어나 PDA 대비 최대 100배 빠른 속도를 달성하면서도 설명 품질을 유지하도록 설계되어 있다.

실험 결과

연구 질문

• RQ1 모델에 종속되지 않는 설명 방법이 포화된 깊은 신경망에서 계산 시간을 크게 줄이면서도 해석의 정밀도를 유지할 수 있는가?
• RQ2 입력 편향에 포함된 맥락 정보가 샐리언시 맵의 안정성과 정확도에 어떤 영향을 미치는가?
• RQ3 최신 모델에서 CPDA는 PDA에 비해 속도와 설명 품질 측면에서 어느 정도 뛰어나게 성능을 발휘할 수 있는가?
• RQ4 모델 내부가 접근 불가능한 상용 시각 인식 시스템의 의사결정을 CPDA가 효과적으로 설명할 수 있는가?
• RQ5 현대 신경망 분류기에서 관찰되는 포화 현상에 대해 CPDA는 얼마나 강건한가?

주요 결과

• CPDA는 딥 컨volution 신경망에서 PDA 대비 최대 100배 빠른 추론 속도를 달성하면서도 동일하거나 더 높은 수준의 설명 품질을 유지한다.
• 맥락 인식 편향 샘플링 덕분에 샐리언시 맵의 안정성이 향상되고 분산이 감소함을 입증하였다.
• PDA가 기울기 포화와 수렴 불량으로 실패하는 포화된 분류기에서 CPDA는 효과적으로 의사결정을 설명할 수 있다.
• 최신 모델에 대한 실험 결과, CPDA는 기준 방법들보다 더 정확하고 국소화된 샐리언시 맵을 생성함을 보였다.
• 상용 시각 API의 예측을 성공적으로 설명함으로써, CPDA가 실제 블랙박스 시스템에 적용 가능한 것을 확인하였다.
• 정량적 평가 결과, CPDA는 높은 모델 포화 상태에서도 지표 설명과의 높은 유사도를 유지함을 확인하였다.