[論文レビュー] Explainable Neural Networks based on Additive Index Models

Joel Vaughan, Agus Sudjianto+3 more|arXiv (Cornell University)|Jun 5, 2018

Explainable Artificial Intelligence (XAI)参考文献 13被引用数 84

ひとこと要約

この論文は、可算的な足し合わせインデックスモデルから構築された Explainable Neural Network (xNN) アーキテクチャを導入し、射影層と一変量リッジ関数による解釈可能な特徴量エンジニアリングを提供しつつ、競争力のある予測性能を維持します。 また、学習した成分を理解するための可視化技術を実証し、簡潔さのための正則化について論じます。

ABSTRACT

Machine Learning algorithms are increasingly being used in recent years due to their flexibility in model fitting and increased predictive performance. However, the complexity of the models makes them hard for the data analyst to interpret the results and explain them without additional tools. This has led to much research in developing various approaches to understand the model behavior. In this paper, we present the Explainable Neural Network (xNN), a structured neural network designed especially to learn interpretable features. Unlike fully connected neural networks, the features engineered by the xNN can be extracted from the network in a relatively straightforward manner and the results displayed. With appropriate regularization, the xNN provides a parsimonious explanation of the relationship between the features and the output. We illustrate this interpretable feature--engineering property on simulated examples.

研究の動機と目的

• 銀行業や医療などの規制分野における解釈可能な機械学習の必要性を動機づける。
• 解釈可能な特徴量とリッジ関数を生み出す構造化ニューラルネットワーク（xNN）を提案する。
• xNN が入力の線形結合と一変量の非線形変換を学習する方法を示す。
• xNN の解釈性を、リッジ関数と条件付き効果の可視化を通じて示す。

提案手法

• 加法的インデックスモデルを定義し、射影層、一次元リッジ関数を学習するサブネットワーク、最終出力を構成する結合層を備えた xNN のニューラルネット実現を導出する。
• 各リッジ関数が射影層による入力の線形射影から学習されるよう構造を課す。
• サブネットワークを用いて一次元変換をモデル化し、線形活性化結合層で最終出力を形成する。
• (parsimony) の促進と解釈性の向上のため、射影ウェイトとリッジウェイトに対して L1 正則化を適用する。
• 勾配ベースの訓練をミニバッチ最適化および GPU 加速と互換性を持たせる。
• 学習したリッジ関数と条件付き効果を解釈するための可視化技術を提供する。

実験結果

リサーチクエスチョン

• RQ1 xNN はその加法的インデックス構造を通じて学習された特徴の解釈可能な説明を提供できるか。
• RQ2 正則化は xNN におけるモデルの回復可能性と説明可能性のバランスにどのように影響するか。
• RQ3 xNN の性能は、主要モデルまたは代替モデルとして使用した場合、他のモデルとどう比較されるか。
• RQ4 解釈を支援する実用的な可視化ツール（リッジ関数、射影インデックス、条件付き効果）は何か。
• RQ5 データ生成機構が加法的インデックスモデルと整合する場合、xNN はデータ生成機構をどの程度忠実に回復できるか。

主な発見

• リッジ関数と射影係数は、各学習済みの一次元変換を駆動する入力の組み合わせを明らかにする。
• 射影ウェイトとリッジウェイトに対する L1 ペナルティによる正則化は、スパース性を促進し、より parsimonious で解釈可能なモデルを実現する。
• リニアモデルでの乗法的相互作用を含む場合、xNN はリニア項と二次項に対応するアクティブなサブネットワークを特定し、相互作用構造を回復する。
• 加法的インデックス枠組みに適合しない非線形モデルにおいても、xNN は説明可能であり、射影とリッジ関数が標的を近似する方法を示す。
• 例1ではホールドアウトの MSE が 0.0028 で、下限の 0.0025 に近い。
• 例2ではホールドアウトの MSE が 0.0122 で、下限の 0.01 に近い。
• 本論は、モデルの回復性が限定的でも解釈可能性を達成できること、そして xNN が他のモデルの代替として機能し得ることを強調している。