[논문 리뷰] Deep Learning Reproducibility and Explainable AI (XAI)

Anastasia Leventi-Peetz, T. Östreich|arXiv (Cornell University)|2022. 02. 23.

Explainable Artificial Intelligence (XAI)인용 수 7

한 줄 요약

이 논문은 딥러닝(DL) 학습의 비결정성 영향이 모델 해석 가능성에 미치는 영향을 조사하고, 결정적인, 재현 가능한 딥러닝 모델을 달성하기 위한 프레임워크를 제안한다. 랜덤 시드를 고정하고 하드웨어 기반 변동성을 제거함으로써, 저자들은 두 개의 CNN 아키텍처에서 결정적인 추론과 설명 가능한 AI(XAI)를 성공적으로 구현하였으며, 다양한 하드웨어 플랫폼 간에 일관된 모델 예측과 설명을 달성하였다.

ABSTRACT

The nondeterminism of Deep Learning (DL) training algorithms and its influence on the explainability of neural network (NN) models are investigated in this work with the help of image classification examples. To discuss the issue, two convolutional neural networks (CNN) have been trained and their results compared. The comparison serves the exploration of the feasibility of creating deterministic, robust DL models and deterministic explainable artificial intelligence (XAI) in practice. Successes and limitation of all here carried out efforts are described in detail. The source code of the attained deterministic models has been listed in this work. Reproducibility is indexed as a development-phase-component of the Model Governance Framework, proposed by the EU within their excellence in AI approach. Furthermore, reproducibility is a requirement for establishing causality for the interpretation of model results and building of trust towards the overwhelming expansion of AI systems applications. Problems that have to be solved on the way to reproducibility and ways to deal with some of them, are examined in this work.

연구 동기 및 목표

• 딥러닝 학습의 비결정성이 신경망 모델의 해석 가능성과 재현 가능성에 미치는 영향을 조사하는 것.
• 알고리즘적 및 하드웨어 수준의 변동성에도 불구하고 결정적인 학습 결과를 달성하여 기계학습 분야의 재현성 위기를 해결하는 것.
• 제어된 학습 구성 조건을 통해 결정적인 모델 추론과 설명 가능한 AI(XAI)가 실제로 가능함을 보여주는 것.
• 하드웨어에 종속되지 않은, 재현 가능한 딥러닝 모델과 일관된 설명을 달성하기 위한 오픈소스 코드와 기술 가이드라인을 제공하는 것.
• 신뢰할 수 있는 AI를 위한 학습 파이프라인에 구현 불변성 및 완전성 등의 모델 특성을 통합할 수 있는 가능성 탐색

제안 방법

• 랜덤 시드를 고정하여 모든 확률적 구성 요소(예: 가중치 초기화, 데이터 셔플링, 드롭아웃)의 알고리즘적 랜덤성을 제거하는 것.
• 동일한 소프트웨어 및 하드웨어 조건에서 두 개의 서로 다른 CNN 아키텍처(ConvnNet 및 두 번째 프로토타입)를 학습시켜 재현 가능성을 확보하는 것.
• 하드웨어 기반 변동성을 분리하기 위해 CPU 전용 환경(AMD Zen 아키텍처)에서 학습 및 추론을 수행하는 것.
• 동일한 코드, 데이터 및 하이퍼파라미터를 사용하여 여러 런에 걸쳐 결정적 행동을 검증하는 것.
• 예측의 시각적 설명을 위해 Grad-CAM을 적용하여, 런 간에 일관된 설명이 유지됨을 보장하는 것.
• GPU 사용이 재현 가능성에 미치는 영향을 조사하고, 한 모델에 대해 GPU 가속 기능이 있음에도 결정적 추론이 가능함을 입증하는 것.

실험 결과

연구 질문

• RQ1 딥러닝 학습이 내재된 알고리즘적 및 하드웨어 수준의 변동성에도 불구하고 얼마나 결정적으로 만들 수 있는가?
• RQ2 GPU를 포함한 다양한 하드웨어 플랫폼을 사용할 경우에도 재현 가능한 모델 예측을 달성하고 유지할 수 있는가?
• RQ3 학습의 비결정성이 Grad-CAM과 같은 설명 가능한 AI(XAI) 방법의 일관성과 신뢰성에 미치는 영향은 어떠한가?
• RQ4 다양한 하드웨어 및 소프트웨어 환경에서 구현 불변성을 달성하기 위해 필요한 기술적 조치는 무엇인가?
• RQ5 재현 가능한 학습이 안전 핵심 분야에서 인과적 해석이 가능하고 신뢰할 수 있는 AI 시스템 개발의 기초가 될 수 있는가?

주요 결과

• 랜덤 시드를 고정하고 일관된 하드웨어(CPU 전용 AMD Zen)를 사용함으로써 두 개의 CNN 아키텍처에 대해 결정적 학습을 성공적으로 달성하였으며, 런 간에 동일한 모델 파라미터와 예측을 얻었다.
• 첫 번째 모델(결정적 ConvNet)은 CPU 외에도 GPU 지원을 사용할 경우에도 재현 가능한 추론을 달성하였으며, GPU 가속 기능이 결정성에 영향을 주지 않음을 입증하였다.
• 두 모델에 대해 재현 가능한 Grad-CAM 설명이 시각적으로 확인되었으며, 반복된 추론 간에 일관된 주의 맵이 나타났다.
• 동일한 코드와 데이터를 사용함에도 불구하고, 딥러닝 프레임워크(예: TensorFlow, cuDNN)의 구현 수준 변동성과 하드웨어 플랫폼(예: 다양한 CPU/GPU) 간의 차이로 인해 여전히 비결정적 행동이 발생할 수 있다.
• 연구 결과, 기능적으로 동일한 모델이라도 하드웨어 플랫폼 간에 다른 기여도를 생성할 수 있으며, 이는 구현 불변성을 위반함을 확인하였다.
• 저자들은 재현 가능성의 중요성을 입증하였으며, 안전 핵심 응용 분야에서 복원력, 해석 가능성 등의 모델 특성에 대한 객관적 평가와 신뢰성 향상에 필수적임을 보여주었다.