[論文レビュー] Deep Learning Reproducibility and Explainable AI (XAI)

Anastasia Leventi-Peetz, T. Östreich|arXiv (Cornell University)|Feb 23, 2022

Explainable Artificial Intelligence (XAI)被引用数 7

ひとこと要約

この論文は、深層学習（DL）学習における非決定的要因がモデルの説明可能性に与える影響を調査し、決定的で再現可能な深層学習モデルを実現するフレームワークを提案する。ランダムシードの固定とハードウェア依存のばらつきの排除により、著者らは2つのCNNアーキテクチャを用いて、異なるハードウェアプラットフォーム間で一貫したモデル予測と説明が得られる、再現可能な推論と説明可能なAI（XAI）を実証した。

ABSTRACT

The nondeterminism of Deep Learning (DL) training algorithms and its influence on the explainability of neural network (NN) models are investigated in this work with the help of image classification examples. To discuss the issue, two convolutional neural networks (CNN) have been trained and their results compared. The comparison serves the exploration of the feasibility of creating deterministic, robust DL models and deterministic explainable artificial intelligence (XAI) in practice. Successes and limitation of all here carried out efforts are described in detail. The source code of the attained deterministic models has been listed in this work. Reproducibility is indexed as a development-phase-component of the Model Governance Framework, proposed by the EU within their excellence in AI approach. Furthermore, reproducibility is a requirement for establishing causality for the interpretation of model results and building of trust towards the overwhelming expansion of AI systems applications. Problems that have to be solved on the way to reproducibility and ways to deal with some of them, are examined in this work.

研究の動機と目的

• 深層学習における学習の非決定的要因がニューラルネットワークモデルの説明可能性および再現可能性に与える影響を調査すること。
• アルゴリズム的およびハードウェアレベルのばらつきが存在する中でも、決定的学習の結果を達成することで、機械学習分野の再現性危機に対処すること。
• 制御された学習設定を用いることで、決定的モデル推論と説明可能なAI（XAI）が実際の現場で実現可能であることを示すこと。
• ハードウェアに依存しない再現可能な深層学習モデルと一貫した説明を実現するためのオープンソースコードおよび技術的ガイドラインを提供すること。
• 実装不変性および完全性といったモデル特性を学習パイプラインに統合する可能性を検討し、信頼できるAIの実現に寄与すること。

提案手法

• 重み初期化、データシャッフル、ドロップアウトなどのすべての確率的コンponentに対してランダムシードを固定し、アルゴリズム的ランダムネスを排除した。
• 同一のソフトウェアおよびハードウェア環境下で、2つの異なるCNNアーキテクチャ（ConvNetおよび第二のプロトタイプ）を訓練し、再現可能性を確保した。
• ハードウェア依存のばらつきを分離するために、CPUオンリ環境（AMD Zenアーキテクチャ）で訓練および推論を実行した。
• 同一のコード、データ、ハイパーパramータを用いて複数回の実行で決定的動作を検証した。
• 予測の視覚的説明としてGrad-CAMを適用し、複数回の実行においても説明が再現可能であることを保証した。
• GPU使用が再現性に与える影響を調査し、1つのモデルにおいてもGPUアクセcelerationを用いても決定的推論が達成可能であることを示した。

実験結果

リサーチクエスチョン

• RQ1 深層学習の学習を、内在的なアルゴリズム的およびハードウェアレベルのばらつきが存在する中でも、どの程度決定的にできるのか。
• RQ2 GPUを含む異なるハードウェアプラットフォームを使用しても、再現可能なモデル予測を達成し、維持できるか。
• RQ3 学習の非決定的要因は、Grad-CAMのような説明可能なAI（XAI）手法の一貫性および信頼性にどのように影響を与えるか。
• RQ4 異なるハードウェアおよびソフトウェア環境間で実装不変性を達成するために、どのような技術的措置が必要か。
• RQ5 再現可能な学習が、安全で重要な分野における因果的解釈可能で信頼できるAIシステムの構築の基盤として機能できるか。

主な発見

• ランダムシードの固定と一貫したハードウェア（CPUオンリのAMD Zen）の使用により、2つのCNNアーキテクチャで決定的学習が成功した。これにより、複数回の実行で同一のモデルパラメータと予測が得られた。
• 最初のモデル（決定的ConvNet）は、CPU上でのみならず、GPUサポートを用いた場合にも再現可能な推論を達成しており、GPUアクセcelerationが決定的性を損なわないことを示した。
• 両モデルに対して再現可能なGrad-CAM説明が視覚的に確認され、繰り返し推論において一貫した注目マップが得られた。
• 同一のコードとデータを用いても、ディープラーニングフレームワーク（例：TensorFlow、cuDNN）の実装レベルのばらつきや、ハードウェアプラットフォーム（例：異なるCPU/GPU）の差異が依然として非決定的動作を引き起こす可能性があることが確認された。
• 関数的に同等のモデルでも、異なるハードウェアプラットフォーム間で異なる属性値を出力することがあり、実装不変性を満たさないことが判明した。
• 著者らは、再現性が、安全で重要な応用分野における信頼性、フォールトトレランス、およびモデル特性（例：耐性、説明可能性）の客観的評価の基盤であることを実証した。