[論文レビュー] iNNvestigate neural networks!

Maximilian Alber, Sebastian Lapuschkin+8 more|arXiv (Cornell University)|Aug 13, 2018

Explainable Artificial Intelligence (XAI)参考文献 13被引用数 28

ひとこと要約

この論文では、PatternNet、PatternAttribution、LRP などを含む複数のニューラルネットワーク解析手法のための統一インターフェースとリファレンス実装を提供する Python ライブラリ iNNvestigate を紹介する。VGG、ResNet、DenseNet などの最先端モデルを対象に、一貫性がありモジュラーで拡張可能なコードにより、摂動ベースの評価を支援することで、解釈可能性手法の系統的比較を可能にする。

ABSTRACT

In recent years, deep neural networks have revolutionized many application domains of machine learning and are key components of many critical decision or predictive processes. Therefore, it is crucial that domain specialists can understand and analyze actions and pre- dictions, even of the most complex neural network architectures. Despite these arguments neural networks are often treated as black boxes. In the attempt to alleviate this short- coming many analysis methods were proposed, yet the lack of reference implementations often makes a systematic comparison between the methods a major effort. The presented library iNNvestigate addresses this by providing a common interface and out-of-the- box implementation for many analysis methods, including the reference implementation for PatternNet and PatternAttribution as well as for LRP-methods. To demonstrate the versatility of iNNvestigate, we provide an analysis of image classifications for variety of state-of-the-art neural network architectures.

研究の動機と目的

• ニューラルネットワークの解釈手法に対する標準化され、アクセスしやすい実装の欠如に対処すること。
• 多様なニューラルネットワークアーキテクチャ across での解釈可能性手法の系統的かつ再現可能な比較を可能にすること。
• PatternNet や PatternAttribution のような新興手法のリファレンス実装を提供すること。
• 摂動分析（PixelFlipping）を用いた定量的評価を支援すること。
• 医療、創薬発見、自律システムなどの実世界の応用に解釈可能性ツールを容易に統合すること。

提案手法

• ライブラリは複数の解析手法に共通のインターフェースを提供し、トレーニング済みの Keras モデルからアナライザーをインスタンス化できるようにする。
• レイヤー単位の順方向および逆方向計算に基づくモジュラー設計を採用し、自動微分を活用することでコードの重複を低減する。
• 各手法はベースクラスとカスタマイズ可能なコンponents の組み合わせとして実装されており、拡張性と再利用性を実現する。
• 勾配ベース手法（例：Gradient Saliency、SmoothGrad、IntegratedGradients）と非勾配手法（例：LRP、DeepTaylor、PatternNet、PatternAttribution）を両方サポートする。
• 定量的評価のための摂動分析（PixelFlipping）の組み込み実装を備える。
• ライブラリは Keras を基盤とし、TensorFlow バックエンドを用い、MIT ライセンスの下でオープンソースであり、pip を用いたインストールが可能である。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークの解釈可能性手法をどのように標準化し、研究者や実務家が簡単にアクセスできるようにできるか？
• RQ2 画像分類のための顕著な特徴を特定する際、さまざまな解釈手法の性能にどのような差があるか？
• RQ3 統一されたソフトウェアフレームワークは、勾配ベースと非勾配ベースの両方の解析手法を効果的にサポートできるか？
• RQ4 PatternNet や PatternAttribution のような高度な手法を、スケールに応じてどれほど効率的にトレーニングおよび適用できるか？
• RQ5 摂動分析は、解釈手法の比較に客観的なベンチマークを提供できるか、その程度はどの程度か？

主な発見

• iNNvestigate は、PatternNet と PatternAttribution の最初のリファレンス実装を提供し、これらのデータに依存する手法の再現可能なトレーニングと解析を可能にする。
• LRP のバリエーション（Z、Epsilon、AlphaBeta）、Deconvnet、GuidedBackprop、DeepTaylor を含む、合計11の解析手法をサポートし、一貫した API アクセスを提供する。
• モジュラーなアーキテクチャにより、例えば勾配アナライザーにスムージングラッパーを組み合わせて SmoothGrad を実装するなど、容易な拡張が可能である。
• PatternNet と PatternAttribution は、1枚の GPU を用いて ImageNet のような大規模データセット上で1時間未満でトレーニング可能である。
• 摂動分析はネイティブにサポートされており、特徴の重要度に基づいた、定量的で客観的な解釈手法の比較が可能である。
• VGG16、ResNet50、InceptionV3、DenseNet、NASNet、InceptionResNetV2 といった最先端モデルの解析を可能にする。