[論文レビュー] GAN-based Generation and Automatic Selection of Explanations for Neural Networks

Saumitra Mishra, Daniel Stoller+3 more|arXiv (Cornell University)|Apr 21, 2019

Explainable Artificial Intelligence (XAI)参考文献 26被引用数 6

ひとこと要約

本稿では、FIDに基づく新しい指標を用いて最適なハイパーパrameterを自動選択することで、深層ニューラルネットワーク（DNN）の活性化を説明するための現実的で解釈可能な入力を生成するGANベースの手法を提案する。このアプローチにより、手動による点検を伴わずに、効率的かつスケーラブルにDNNの解釈を生成でき、歌い声分類器において声の特徴および非声の特徴を的確に捉えることに成功した。

ABSTRACT

One way to interpret trained deep neural networks (DNNs) is by inspecting characteristics that neurons in the model respond to, such as by iteratively optimising the model input (e.g., an image) to maximally activate specific neurons. However, this requires a careful selection of hyper-parameters to generate interpretable examples for each neuron of interest, and current methods rely on a manual, qualitative evaluation of each setting, which is prohibitively slow. We introduce a new metric that uses Fréchet Inception Distance (FID) to encourage similarity between model activations for real and generated data. This provides an efficient way to evaluate a set of generated examples for each setting of hyper-parameters. We also propose a novel GAN-based method for generating explanations that enables an efficient search through the input space and imposes a strong prior favouring realistic outputs. We apply our approach to a classification model trained to predict whether a music audio recording contains singing voice. Our results suggest that this proposed metric successfully selects hyper-parameters leading to interpretable examples, avoiding the need for manual evaluation. Moreover, we see that examples synthesised to maximise or minimise the predicted probability of singing voice presence exhibit vocal or non-vocal characteristics, respectively, suggesting that our approach is able to generate suitable explanations for understanding concepts learned by a neural network.

研究の動機と目的

• DNNの解釈のための活性化最大化における、非効率で主観的な手動ハイパーパrameterチューニングの問題を解決すること。
• 生成された説明の解釈可能性を評価するための自動的で定量的な指標の開発。
• GANを強力な事前分布として活用し、特定のニューロンを最大に活性化する現実的で意味のある入力を生成すること。
• 各モデルやレイヤーごとに再訓練を必要とせず、スケーラブルな後処理によるDNN部品の解釈を可能にすること。
• 実世界の音声分類タスクにおいて手法を検証し、歌唱音声の存在といった意味的コンセプトを捉える能力を示すこと。

提案手法

• 生成器を訓練し、メルスペクトログ램などの現実的な入力例を生成することで、活性化最大化のための事前分布を提供する。
• 生成器は、ターゲットニューロンまたはレイヤーの活性化を最大化するように最適化されるとともに、学習済み事前分布下での高い尤度を維持するように設計される。
• 実データと生成データの分布を比較するための、Frechet Inception Distance（FID）に基づく新しい評価指標が用いられ、ハイパーパrameterの自動選択が可能になる。
• 学習率や重み減衰などのハイパーパrameterは、FIDスコアを用いて最適化され、より解釈可能な出力を得られる設定を特定する。
• 正例と負例は、それぞれ出力ニューロンの活性化を最大化または最小化することで生成され、分類器が学習したコンセプトの探索が可能になる。
• 事前学習済みの歌唱音声検出モデルにこの手法を適用し、生成されたスペクトログラムの定性的分析を通じて解釈可能性を評価する。

実験結果

リサーチクエスチョン

• RQ1 GANベースの生成器は、DNNニューロンの活性化を説明するための現実的で解釈可能な入力を効果的に生成できるか？
• RQ2 提案されたFIDベースの指標は、人間による評価なしに、活性化最大化のためのハイパーパrameter設定を信頼性高くランク付けできるか？
• RQ3 この手法は、分類器が検出しようとした意味的コンセプト（例：歌唱音声）を反映する意味のある正例および負例を生成できるか？
• RQ4 手動で設計されたものや自己符号化器ベースの事前分布と比較して、学習済みGAN事前分布は出力品質および解釈可能性において優れているか？
• RQ5 同じ入力ドメインを持つ異なるモデルへ、再訓練なしにどの程度一般化可能か？

主な発見

• FIDベースの指標は、多様で現実的かつ解釈可能な例を生成する最適なハイパーパramータ設定（C₁）を的確に同定した。他の設定に比べ、視覚的品質および活性化の一貫性で優れた性能を示した。
• 最良の設定（C₁）は、初期のGAN出力に対する最小限の変更で済ませており、現実性を保持しつつニューロン活性化を効果的に高めた。これは、強い事前分布との整合性を示している。
• 出力ニューロン活性化を最大化することで生成された正例は、強い調波成分、低周波数エネルギーの低減、およびトランジェントの減少を示しており、歌唱音声に特徴的なものであった。
• 活性化を最小化することで生成された負例は、高域エネルギーとトランジェント成分の増加を示しており、非声的・楽器的音声の成功した生成が確認された。
• 極端な設定では、ターゲットニューロンの応答値が最大78に達したが、スペクトルエネルギーが不自然で聴覚的品質が劣るため、実効性に欠けると判断された。
• 定性的な分析により、生成された例が分類器が学習した意味的コンセプトと整合していることが確認され、この手法が意味のある表現を捉えていることが示された。