[논문 리뷰] Toward Interpretable Machine Learning: Transparent Deep Neural Networks and Beyond

Wojciech Samek, Grégoire Montavon외 3명|arXiv (Cornell University)|2020. 03. 17.

Explainable Artificial Intelligence (XAI)참고 문헌 174인용 수 74

한 줄 요약

이 논문은 해석 가능한 기계학습에 대한 종합적인 개요를 제공하며, 심층 신경망, LSTMs, 커널 방법에 대한 설명 가능성 방법을 이론적 분석과 광범위한 시뮬레이션을 통해 평가한다. 표준 기계학습 워크플로우에 설명 기법을 통합하는 데 최적의 실천 방안을 수립하고 다양한 시나리오에 적용함으로써 투명한 AI 시스템의 기초를 다진다.

ABSTRACT

With the broader and highly successful usage of machine learning in industry and the sciences, there has been a growing demand for explainable AI. Interpretability and explanation methods for gaining a better understanding about the problem solving abilities and strategies of nonlinear Machine Learning such as Deep Learning (DL), LSTMs, and kernel methods are therefore receiving increased attention. In this work we aim to (1) provide a timely overview of this active emerging field and explain its theoretical foundations, (2) put interpretability algorithms to a test both from a theory and comparative evaluation perspective using extensive simulations, (3) outline best practice aspects i.e. how to best include interpretation methods into the standard usage of machine learning and (4) demonstrate successful usage of explainable AI in a representative selection of application scenarios. Finally, we discuss challenges and possible future directions of this exciting foundational field of machine learning.

연구 동기 및 목표

• 산업 및 과학적 응용 분야에서 증가하는 설명 가능한 AI 수요를 해결하기 위해.
• 심층 신경망 및 LSTMs와 같은 비선형 기계학습 모델에서의 설명 가능성 방법에 대한 이론적 기반을 제공하기 위해.
• 시뮬레이션과 비교 분석을 통해 설명 가능성 알고리즘을 철저히 평가하기 위해.
• 표준 기계학습 워크플로우에 설명 기법을 통합하는 데 최적의 실천 방안을 수립하기 위해.
• 대표적인 응용 시나리오 전반에 걸쳐 설명 가능한 AI의 실용적 유용성을 입증하기 위해.

제안 방법

• 심층 학습, LSTMs, 커널 방법에 대한 기존 설명 가능성 방법에 대한 체계적 검토를 수행하기 위해.
• 설명 알고리즘의 이론적 및 실증적 성능을 평가하기 위해 광범위한 시뮬레이션을 수행하기 위해.
• 일致성, 충실도, 내성성 지표를 기반으로 다양한 설명 기법을 비교하기 위해.
• 모델 개발 및 배포에 중점을 두고 표준 기계학습 워크플로우에 설명 가능성 기법을 통합하기 위해.
• 실세계 응용 사례에 설명 가능한 AI를 적용하여 실용적 효과성과 사용성 검증하기 위해.
• 모델 유형과 응용 맥락에 따라 설명 기법을 선택하고 적용하는 데 위한 지침 제안하기 위해.

실험 결과

연구 질문

• RQ1 다양한 모델 아키텍처에서 이론적 타당성과 실증적 신뢰성 측면에서 서로 다른 설명 가능성 방법은 어떻게 성능을 보이는가?
• RQ2 표준 기계학습 워크플로우에 설명 도구를 통합하는 데 가장 효과적인 전략은 무엇인가?
• RQ3 심층 신경망, LSTMs, 커널 방법에 적용했을 때 설명 기법은 충실도와 내성성 측면에서 어떻게 다름이 있는가?
• RQ4 실세계 응용에서 설명 가능한 AI를 구현하는 데 직면하는 실질적 과제는 무엇인가?
• RQ5 설명 기법의 이론적 분석과 실증적 평가를 통합함으로써 도출되는 최적 실천 방안은 무엇인가?

주요 결과

• 일부 방법은 다른 방법보다 더 높은 충실도와 내성성을 보이며, 설명 가능성 방법은 이론적 기반과 실증적 성능 측면에서 상당한 차이를 보인다.
• 표준 기계학습 워크플로우에 설명 기법을 통합함으로써 예측 성능에 영향을 주지 않으면서도 모델의 투명성을 향상시킬 수 있다.
• 시뮬레이션 결과에 따르면 일부 설명 기법은 다양한 모델 유형과 데이터 분포에 걸쳐 더 일관된 성능을 보였다.
• 설명 가능한 AI를 적용할 때 최적 실천 방안은 모델 아키텍처와 응용 맥락에 부합하는 방법을 선택하는 데 있다.
• 실세계 응용 사례는 해석 가능한 AI가 생산 환경에서 신뢰도 향상과 디버깅, 검증을 촉진하는 데 기여함을 입증한다.
• 평가 프로토콜의 표준화와 사용자에게 정확하고 의미 있는 설명을 제공하는 데 여전히 과제가 남아 있다.