[論文レビュー] Unwrapping The Black Box of Deep ReLU Networks: Interpretability, Diagnostics, and Simplification

Agus Sudjianto, William Knauth+3 more|arXiv (Cornell University)|Nov 8, 2020

Explainable Artificial Intelligence (XAI)参考文献 45被引用数 20

ひとこと要約

この論文は、活性化パターンを用いて深層ReLUネットワークを局所線形モデル（LLM）に分解することで、厳密で内生的（intrinsic）な解釈可能性フレームワークを提案する。これにより、直接的な解釈、診断、および簡略化が可能となる。領域統合による手法により予測性能が向上し、簡略化された3領域のLLMモデルは、学習およびテストのAUCにおいて元のReLUネットワークを上回った。

ABSTRACT

The deep neural networks (DNNs) have achieved great success in learning complex patterns with strong predictive power, but they are often thought of as "black box" models without a sufficient level of transparency and interpretability. It is important to demystify the DNNs with rigorous mathematics and practical tools, especially when they are used for mission-critical applications. This paper aims to unwrap the black box of deep ReLU networks through local linear representation, which utilizes the activation pattern and disentangles the complex network into an equivalent set of local linear models (LLMs). We develop a convenient LLM-based toolkit for interpretability, diagnostics, and simplification of a pre-trained deep ReLU network. We propose the local linear profile plot and other visualization methods for interpretation and diagnostics, and an effective merging strategy for network simplification. The proposed methods are demonstrated by simulation examples, benchmark datasets, and a real case study in home lending credit risk assessment.

研究の動機と目的

• ミッションクリティカルな応用分野において、深層ReLUネットワークの透明性と解釈可能性の欠如に対処すること。
• 後処理による説明手法に依存する仮定を避ける、厳密で内生的な解釈可能性手法の開発。
• 局所線形表現と可視化ツールを用いた、モデル挙動の診断を可能にすること。
• 重複する局所線形モデルを統合して、コンactかつ高性能な構造に複雑なReLUネットワークを簡略化すること。
• ベンチマークデータセットおよび実世界の住宅ローン信用リスク評価事例における、フレームワークの有効性の実証。

提案手法

• 事前に学習済みの深層ReLUネットワークを、活性化パターンに基づいて等価な局所線形モデル（LLM）の集合に分解する。活性化パターンは入力空間における凸ポリトープを定義する。
• 各LLMは一意な活性化パターンに対応し、その領域内におけるネットワーク挙動の線形近似を提供する。
• 局所線形プロファイル図と平行座標プロットを導入し、特徴量の重要度と領域間でのモデル挙動の解釈を可能にする可視化ツールとして用いる。
• 特にサンプル数が少ない領域について、小規模または冗長な領域を統合するための統合戦略を提案する。
• 統合された領域上で、正則化付きロジスティック回帰（C=0.1）を用いて最終的なLLMを学習し、汎化性能と予測性能を向上させる。
• 最終的な簡略化モデルは、3ノードのフィードフォワードネットワーク（FL-Net）として実装可能であり、元のReLUネットワークに置き換え可能である。

実験結果

リサーチクエスチョン

• RQ1 活性化パターンを用いて、深層ReLUネットワークを体系的に局所線形モデルの集合に分解することで、解釈性を向上させることができるか？
• RQ2 局所線形モデルを用いて、キーパラメータの同定や領域特有の意思決定ルールの特定を含む、モデル挙動の診断は可能か？
• RQ3 活性化パターン空間における冗長または小規模な領域を統合することで、より単純で頑健かつ高性能なモデルが得られるか？
• RQ4 簡略化されたモデルは、元のReLUネットワークと比較して予測性能を維持または向上させるか？
• RQ5 局所線形モデルは、信用リスクダイナミクスなどの現実世界のドメイン知識を適切に反映しているか？

主な発見

• 統合されたLLMモデルは、学習AUC 0.8532、テストAUC 0.8388を達成し、元のReLU-Netの学習AUC 0.8476およびテストAUC 0.8316を上回った。
• 最終的な簡略化されたFL-Netは、テストAUC 0.8368を達成し、統合ネットワークと同等の性能を示し、元のReLU-Netを上回った。
• 領域0（全データの85.2％）は応答平均が0.460、局所AUCが0.831であり、混合リスクを示しており、領域1（90％のデフォルト）と領域2（85.4％の非デフォルト）は明確に異なるリスクプロファイルを示した。
• プロファイル図から、FICOとLTVが混合リスク領域（領域0）の主要な予測因子であることが判明した。延滞状況は高デフォルト領域（領域1）で支配的であり、前/金融危機前後の融資（premod_ind）は高信用格付け領域（領域2）で重要であった。
• 時間枠変数'h'は、低信用格付けローンにおいて減少するハザードレートを示し、長期生存はデフォルトリスクを低減する傾向にあり、信用理論と整合的であった。
• 統合プロセスにより、元のReLU-Netの16の領域がわずか3つの領域に削減され、多くの領域が冗長であり、性能に損なわれることなく統合可能であることが示された。