[논문 리뷰] iNNvestigate neural networks!

Maximilian Alber, Sebastian Lapuschkin외 8명|arXiv (Cornell University)|2018. 08. 13.

Explainable Artificial Intelligence (XAI)참고 문헌 13인용 수 28

한 줄 요약

이 논문은 PatternNet, PatternAttribution, LRP 등을 포함한 여러 신경망 분석 방법을 위한 통합 인터페이스와 기준 구현을 제공하는 Python 라이브러리인 iNNvestigate를 소개한다. 이는 VGG, ResNet, DenseNet 등의 최신 모델을 대상으로 일관되고 모듈화되며 확장 가능한 코드를 통해 해석 가능성 기법 간 체계적인 비교를 가능하게 하며, 편향 기반 평가를 지원한다.

ABSTRACT

In recent years, deep neural networks have revolutionized many application domains of machine learning and are key components of many critical decision or predictive processes. Therefore, it is crucial that domain specialists can understand and analyze actions and pre- dictions, even of the most complex neural network architectures. Despite these arguments neural networks are often treated as black boxes. In the attempt to alleviate this short- coming many analysis methods were proposed, yet the lack of reference implementations often makes a systematic comparison between the methods a major effort. The presented library iNNvestigate addresses this by providing a common interface and out-of-the- box implementation for many analysis methods, including the reference implementation for PatternNet and PatternAttribution as well as for LRP-methods. To demonstrate the versatility of iNNvestigate, we provide an analysis of image classifications for variety of state-of-the-art neural network architectures.

연구 동기 및 목표

• 신경망 해석 방법에 대한 표준화되고 접근하기 쉬운 구현이 부족한 문제를 해결하기 위해.
• 다양한 신경망 아키텍처 간에 해석 가능성 기법의 체계적이고 재현 가능한 비교를 가능하게 하기 위해.
• PatternNet 및 PatternAttribution과 같은 신규 방법에 대한 기준 구현을 제공하기 위해.
• 편향 분석(PixelFlipping)을 활용한 분석 방법의 정량적 평가를 지원하기 위해.
• 의료, 신약 개발, 자율주행 시스템 등 실제 응용 분야에 해석 가능성 도구를 간편하게 통합하기 위해.

제안 방법

• 라이브러리는 여러 분석 방법에 대한 공통 인터페이스를 제공하여, 훈련된 Keras 모델을 사용해 분석기 인스턴스를 생성할 수 있도록 한다.
• 레이어 단위의 정방향 및 역방향 계산 기반의 모듈러한 설계를 사용하며, 자동 미분을 활용해 코드 중복을 최소화한다.
• 각 방법은 기본 클래스와 사용자 정의 가능한 구성 요소의 조합으로 구현되어 있어 확장성과 재사용이 가능하다.
• 기울기 기반 방법(예: Gradient Saliency, SmoothGrad, IntegratedGradients)과 기울기 미사용 방법(예: LRP, DeepTaylor, PatternNet, PatternAttribution)을 모두 지원한다.
• 정량적 평가를 위한 편향 분석(PixelFlipping)을 내장한 구현이 포함되어 있다.
• 라이브러리는 Keras를 기반으로 하며, TensorFlow 백엔드를 사용하고, MIT 라이선스 하에 오픈소스로 제공되며, pip를 통해 설치할 수 있다.

실험 결과

연구 질문

• RQ1 딥 신경망을 위한 해석 가능성 기법은 어떻게 표준화되고 연구자 및 실무자들이 쉽게 접근할 수 있도록 할 수 있는가?
• RQ2 이미지 분류 작업에서 주요 특징을 식별하는 데 있어 다양한 해석 기법 간의 성능 차이는 어떠한가?
• RQ3 통합 소프트웨어 프레임워크는 기울기 기반 및 비기울기 기반 방법을 포함한 다양한 분석 기법을 효과적으로 지원할 수 있는가?
• RQ4 PatternNet 및 PatternAttribution과 같은 고급 방법은 어떻게 대규모로 효율적으로 훈련하고 적용할 수 있는가?
• RQ5 편향 분석은 해석 기법 간 비교를 위한 객관적인 기준을 얼마나 잘 제공할 수 있는가?

주요 결과

• iNNvestigate는 PatternNet 및 PatternAttribution에 대한 첫 번째 기준 구현을 제공하여, 이러한 데이터 조건 기반 방법의 재현 가능한 훈련과 분석을 가능하게 한다.
• LRP 변종(Z, Epsilon, AlphaBeta), Deconvnet, GuidedBackprop, DeepTaylor 등을 포함해 총 11종의 분석 방법을 일관된 API 접근 방식으로 지원한다.
• 모듈러한 아키텍처 덕분에 확장이 용이하여, 예를 들어 기울기 분석기와 스무딩 래퍼를 조합해 SmoothGrad를 쉽게 구현할 수 있다.
• PatternNet 및 PatternAttribution는 단일 GPU를 사용해 ImageNet과 같은 대규모 데이터셋에서 1시간 이내에 훈련 및 적용이 가능하다.
• 편향 분석은 내장된 상태로 지원되며, 특징 중요도 기반으로 해석 기법 간의 정량적이고 객관적인 비교를 가능하게 한다.
• VGG16, ResNet50, InceptionV3, DenseNet, NASNet, InceptionResNetV2 등의 최신 모델 분석을 지원한다.