[論文レビュー] Enhancing Explainability of Neural Networks through Architecture Constraints

Zebin Yang, Aijun Zhang+1 more|arXiv (Cornell University)|Jan 12, 2019

Machine Learning and ELM参考文献 36被引用数 8

ひとこと要約

本稿では、スパarsity、直交性、滑らかさの制約を組み込んだニューラルネットワーク（xNN）を提案する。このアーキテクチャ的制約により、予測精度に影響を与えずに解釈可能性が向上する。xNNは、特徴の効果を明確に解釈可能にし、理論的同定可能性とシミュレーションおよび実データにおける実証的妥当性を兼ね備えている。

ABSTRACT

Prediction accuracy and model explainability are the two most important objectives when developing machine learning algorithms to solve real-world problems. The neural networks are known to possess good prediction performance, but lack of sufficient model interpretability. In this paper, we propose to enhance the explainability of neural networks through the following architecture constraints: a) sparse additive subnetworks; b) projection pursuit with orthogonality constraint; and c) smooth function approximation. It leads to an explainable neural network (xNN) with the superior balance between prediction performance and model interpretability. We derive the necessary and sufficient identifiability conditions for the proposed xNN model. The multiple parameters are simultaneously estimated by a modified mini-batch gradient descent method based on the backpropagation algorithm for calculating the derivatives and the Cayley transform for preserving the projection orthogonality. Through simulation study under six different scenarios, we compare the proposed method to several benchmarks including least absolute shrinkage and selection operator, support vector machine, random forest, extreme learning machine, and multi-layer perceptron. It is shown that the proposed xNN model keeps the flexibility of pursuing high prediction accuracy while attaining improved interpretability. Finally, a real data example is employed as a showcase application.

研究の動機と目的

• 深層ニューラルネットワークにおける高い予測精度とモデルの解釈可能性の間の葛藤を解決すること。
• 後処理による説明手法に依存しない、内生的（イントリニック）に解釈可能なニューラルネットワークアーキテクチャを構築すること。
• スパarsity、直交性、滑らかさといった構造的制約をニューラルネットワーク設計に統合し、透明性を高めること。
• 提案されたアーキテクチャ下でモデル部品の理論的同定可能性を保証すること。
• 多様なデータ環境下で、解釈可能性を維持しつつ予測精度が優れていることをxNNが示すこと。

提案手法

• 各隠れユニットがリッジ関数を表すサブネットワークに対応する順方向ネットワークとしてxNNを構築し、全体関数の加法的分解を可能にする。
• L1正則化を用いて投影重みにスパarsityを課し、特徴選択を促進するとともに解釈の簡素化を図る。
• 最適化中にCayley変換を用いて投影ベクトル間の直交性を強制し、サブネットワーク間の交差効果を低減する。
• 正則化を用いてリッジ関数に滑らかさ制約を課し、安定的かつ解釈可能な関数的関係を確保する。
• 微小バッチ勾配降下法を修正し、逆誤差伝搬とCayley変換を併用して、すべてのパラメータを同時に推定する。
• 提案された制約下でモデル部品の必要十分な同定可能性条件を導出する。

実験結果

リサーチクエスチョン

• RQ1 スパarsity、直交性、滑らかさといったアーキテクチャ的制約をニューラルネットワークに効果的に統合することで、内生的解釈可能性が向上するか？
• RQ2 提案されたxNNモデルは、MLP や ELM といった標準的なディープラーニングモデルと比較して、予測性能を維持できるか？
• RQ3 これらの制約は、複雑で高次元なデータにおける特徴効果の解釈可能性をどの程度向上させるか？
• RQ4 提案されたアーキテクチャと制約下で、モデル部品（リッジ関数と投影ベクトル）は同定可能か？
• RQ5 xNNは、実世界のデータにおける複雑な非線形関係の解釈可能な代替モデルとして、どの程度の性能を示すか？

主な発見

• 提案されたxNNモデルは、6つのシミュレーションシナリオにおいて、マルチレイヤーパーセプトロン、エクストリームラーニングマシン、ランダムフォレストといった最先端モデルと同等の予測精度を達成した。
• スパarsity、直交性、滑らかさを備えた加法的構造により、高次元設定下でも個々の特徴寄与度の明確な解釈が可能である。
• 固有値の異なる条件の下で、リッジ関数と投影ベクトルの理論的同定可能性が確立され、モデル部品の一意的回復が保証された。
• 実証的結果から、真のデータ生成過程が近似的に加法的である場合、xNNは主効果を効果的に捉え、複雑なケースにおいても信頼できる解釈可能な代替モデルとして機能することが示された。
• 最適化におけるCayley変換の使用により、投影ベクトルの直交性が効果的に維持され、モデルの安定性と解釈可能性が向上した。
• 実世界のデータ例において、xNNは優れた性能と解釈可能性を示し、ファイナンスやヘルスケアなど規制が厳しい分野での実用性を裏付けた。