[論文レビュー] NeuralSens: Sensitivity Analysis of Neural Networks

J. Pizarroso, Jorge Iglesias Aldo Portela+1 more|arXiv (Cornell University)|Feb 26, 2020

Neural Networks and Applications被引用数 15

ひとこと要約

この論文は、多層パーセプトロン（MLP）ニューラルネットワークの感度分析を可能にするRパッケージNeuralSensを紹介している。この手法は、変数の重要度と入力-出力関係を評価するために偏微分を用いる。モデルの訓練データ全体にわたり、出力の入力変数に関する勾配を計算し、モデル容量が増加するにつれて感度指標の堅牢性と一貫性が示された。

ABSTRACT

Neural networks are important tools for data-intensive analysis and are commonly applied to model non-linear relationships between dependent and independent variables. However, neural networks are usually seen as "black boxes" that offer minimal information about how the input variables are used to predict the response in a fitted model. This article describes the \pkg{NeuralSens} package that can be used to perform sensitivity analysis of neural networks using the partial derivatives method. Functions in the package can be used to obtain the sensitivities of the output with respect to the input variables, evaluate variable importance based on sensitivity measures and characterize relationships between input and output variables. Methods to calculate sensitivities are provided for objects from common neural network packages in \proglang{R}, including \pkg{neuralnet}, \pkg{nnet}, \pkg{RSNNS}, \pkg{h2o}, \pkg{neural}, \pkg{forecast} and \pkg{caret}. The article presents an overview of the techniques for obtaining information from neural network models, a theoretical foundation of how are calculated the partial derivatives of the output with respect to the inputs of a multi-layer perceptron model, a description of the package structure and functions, and applied examples to compare \pkg{NeuralSens} functions with analogous functions from other available \proglang{R} packages.

研究の動機と目的

• ブラックボックス型ニューラルネットワークの解釈を可能にするため、入力変数がモデル出力に与える影響を定量化する手法の開発。
• 非線形で複雑な関係を有するニューラルネットワークの理解を、感度分析によって解決する挑戦への対処。
• さまざまなニューラルネットワークの学習フレームワークに対応する統合的かつアクセスしやすいRパッケージの提供。
• 偏微分法と既存の手法（Garsonの手法やOldenの手法）を、正確性と解釈可能性の観点から比較する。
• モデルアーキテクチャや学習条件の変化に対して、感度指標の堅牢性を検証する。

提案手法

• コアとなる手法は、バックプロパゲーションを用いて、各訓練サンプルにおけるニューラルネットワーク出力の各入力変数に関する偏微分を計算する。
• 感度指標はデータセット全体にわたり集約され、変数の重要度を評価するための平均、標準偏差、および二乗和（SensSQ）を含む。
• 一般的なRニューラルネットワークパッケージ（例：caret, nnet）で学習されたモデルをサポートし、非対応モデルには汎用の'numeric'メソッドを備える。
• 感度プロットを生成し、入力値の範囲にわたり入力変数とモデル出力の関係を可視化する。
• 複数の異なるランダム初期化を用いてモデルを学習し、感度指標の分散を評価することで、堅牢性を検証する。
• ベンチマークデータセット（例：'iris'）を用いて、Garsonの手法、Oldenの手法、Lekのプロファイル手法といった代替手法と比較する。

実験結果

リサーチクエスチョン

• RQ1 訓練済みMLPから得られる偏微分は、個々の入力変数がモデル出力に与える影響をどれほど正確に定量化できるか？
• RQ2 Garsonの手法やOldenの手法と比較して、偏微分法による感度指標は、大きさと一貫性においてどのように異なるか？
• RQ3 モデル容量（隠れニューロン数）が、感度指標の安定性と信頼性に与える影響は何か？
• RQ4 人工的な摂動に依存せずに、非線形な入力-出力関係を効果的に可視化できるか？
• RQ5 異なるランダム初期化や変化するネットワークアーキテクチャで学習した場合、感度推定値はどれほど堅牢か？

主な発見

• NeuralSensにおける偏微分法は、変数の重要度を安定的かつ解釈可能な指標として提供し、モデル容量が十分にあれば感度指標の分散が著しく小さくなることが確認された。
• irisデータセットにおいて、Petal.LengthとPetal.Widthが最も高い感度（virginicaクラスのSensSQ = 0.3499）を示し、種の生物学的差異と整合的であった。
• 10個の隠れニューロンを有する50個の独立したモデルを学習した結果、重み初期化の変動に対しても一貫した結果が得られ、本手法の堅牢性が裏付けられた。
• NeuralSensが生成した感度プロットは、特にvirginicaクラスにおいて、入力と出力の間の非線形関係を効果的に明らかにした。
• Garsonの手法やOldenの手法と比較して、偏微分法は回帰および分類タスクにおいて、入力への影響のより洗練された連続的洞察を提供した。
• 本パッケージは、既存のRニューラルネットワークワークフローとスムーズに統合され、'lekprofile' や 'partial' 関数といった既存ツールと同等またはそれ以上の解釈可能性を提供した。