[論文レビュー] NLS: an accurate and yet easy-to-interpret regression method

Victor Coscrato, Marco Henrique de Almeida Inácio+2 more|arXiv (Cornell University)|Oct 11, 2019

Explainable Artificial Intelligence (XAI)参考文献 30被引用数 5

ひとこと要約

NLSは、出力層に局所線形構造を強制することで、高い予測精度と内在的な解釈可能性を両立するニューラルネットワークベースの回帰手法である。モデルに依存しない解釈器とは異なり、NLSは学習段階から直接解釈可能な係数を提供し、最先端のモデルと同等の性能を達成しながら、局所線形係数による即時の解釈を可能にする。

ABSTRACT

An important feature of successful supervised machine learning applications is to be able to explain the predictions given by the regression or classification model being used. However, most state-of-the-art models that have good predictive power lead to predictions that are hard to interpret. Thus, several model-agnostic interpreters have been developed recently as a way of explaining black-box classifiers. In practice, using these methods is a slow process because a novel fitting is required for each new testing instance, and several non-trivial choices must be made. We develop NLS (neural local smoother), a method that is complex enough to give good predictions, and yet gives solutions that are easy to be interpreted without the need of using a separate interpreter. The key idea is to use a neural network that imposes a local linear shape to the output layer. We show that NLS leads to predictive power that is comparable to state-of-the-art machine learning models, and yet is easier to interpret.

研究の動機と目的

• 機械学習モデルにおける予測精度と解釈可能性のトレードオフを解消すること。
• LIMEのような別個の計算コストの高い解釈器を不要にするために、解釈可能性をモデルに直接埋め込むこと。
• 高い精度を維持しつつ、学習された係数を通じて予測を直接解釈可能な1ステップ回帰手法を開発すること。
• 強力な性能を示すが解釈が難しいブラックボックスモデルに対する、堅牢でスケーラブルな代替手法を提供すること。

提案手法

• NLSは、局所線形予測のためのバイアス項と特徴ごとの重み（θ₀, θ₁(x), ..., θ_d(x)）を出力するニューラルネットワークアーキテクチャを採用する。
• 最終的な予測は G_Θ(x) = θ₀ + Σ θ_i(x) * x_i として計算され、局所線形形式を保証する。
• 訓練は標準の二乗損失関数を用いて、訓練データ上の予測誤差を最小化するように行う。
• スパarsityを制御し、解釈可能性を向上させるためにペナルティ項（λ）を導入する。
• 理論的根拠として、十分な容量があればNLSが任意の連続回帰関数を任意の精度εで近似可能であるという定理が示されている。
• 解釈は、与えられた入力におけるネットワークの出力重みから直接導出可能であり、個々のインスタンスごとの追加フィッティングが不要で、即時の局所線形解釈が可能である。

実験結果

リサーチクエスチョン

• RQ1 予測精度と内在的な解釈可能性の両方を満たすように設計されたニューラルネットワークは構築可能か？
• RQ2 SVM や深層ニューラルネットワークといった最先端モデルと比較して、NLSの予測性能はいかがなものか？
• RQ3 別個のインスタンスごとのフィッティングステップを必要とせず、LIMEと同等の意味のある解釈を提供できるか？
• RQ4 正則化（λ）の強さが、NLSにおける予測精度と解釈可能性のトレードオフに与える影響は何か？
• RQ5 NLSは高次元および実世界のデータセットに対しても一般化可能であり、解釈可能性を維持できるか？

主な発見

• NLSは、リーディングデータセット（religion）において95.6%のテスト精度を達成し、Ribeiroら（2016）が報告したRBFカーネルを用いたSVM（94%）をわずかに上回った。
• この手法はLIMEのものと同様の質的特徴を持つ解釈を生成し、例えばメールヘッダー内のキーワードなど、同じ重要な特徴を特定した。
• ペナルティ強度λは、予測精度と解釈可能性のトレードオフを制御する。λが高くなるほど、予測再現における拡張誤差が低下する。
• NLSは計算的に効率的であり、個々のインスタンスごとに追加のフィッティングを必要とせず、モデルの出力から直接解釈が得られる。
• 理論的分析により、十分なネットワーク容量があれば、NLSが任意の連続回帰関数をε誤差以内で近似可能であることが確認された。
• NLSは不要な特徴に対して頑健であり、学習および推論の両方において低コストを維持した。