[論文レビュー] Optimizing for Interpretability in Deep Neural Networks with Tree Regularization

Mike Wu, Sonali Parbhoo+3 more|arXiv (Cornell University)|Aug 14, 2019

Explainable Artificial Intelligence (XAI)参考文献 45被引用数 8

ひとこと要約

この論文では、深層ニューラルネットワークを、高精度かつ人間がシミュレート可能な形に学習させるために、決定関数がコンパクトで軸に沿った決定木によってよく近似されるよう促す、ツリー正則化を導入する。この手法は、L0スパarsity（sparsemaxを用いて）によるグローバルおよび局所的ツリー正則化を用い、元のモデルの忠実度を高く保ちつつ、ドメインエキスパートが簡単にシミュレート可能な意思決定ルールで予測を解釈できるようにする。

ABSTRACT

Deep models have advanced prediction in many domains, but their lack of interpretability remains a key barrier to the adoption in many real world applications. There exists a large body of work aiming to help humans understand these black box functions to varying levels of granularity -- for example, through distillation, gradients, or adversarial examples. These methods however, all tackle interpretability as a separate process after training. In this work, we take a different approach and explicitly regularize deep models so that they are well-approximated by processes that humans can step-through in little time. Specifically, we train several families of deep neural networks to resemble compact, axis-aligned decision trees without significant compromises in accuracy. The resulting axis-aligned decision functions uniquely make tree regularized models easy for humans to interpret. Moreover, for situations in which a single, global tree is a poor estimator, we introduce a regional tree regularizer that encourages the deep model to resemble a compact, axis-aligned decision tree in predefined, human-interpretable contexts. Using intuitive toy examples as well as medical tasks for patients in critical care and with HIV, we demonstrate that this new family of tree regularizers yield models that are easier for humans to simulate than simpler L1 or L2 penalties without sacrificing predictive power.

研究の動機と目的

• 深層学習における解釈性の重要な障壁を克服し、モデルを人間が手動でステップ・バイ・ステップに追跡可能な形にすること、すなわちドメインエキスパートがモデルの意思決定を手作業で追えるようにすること。
• グローバルなモデル論理を捉えきれない、または複雑な推論を要する後処理による解釈手法の限界を克服すること。
• トレーニング時における正則化アプローチを提案し、モデル学習後に解釈性を適用するのではなく、シミュレータビリティを明示的に最適化すること。
• ドメインエキスパートが解釈可能なツリー構造の意思決定関数を通じて、モデルの意思決定を監査・検証・改善できるようにすること。

提案手法

• 深層モデルの決定関数が、1つのコンパクトで軸に沿った決定木によってよく近似されるよう促すグローバルツリー正則化項を導入する。
• 訓練データをR個の人間が解釈可能な領域に分割し、それぞれに固有の局所的決定木を設ける、局所的ツリー正則化フレームワークを提案する。
• スパースマックス（L0ノルムの微分可能近似）を用いて、領域選択におけるスパarsityを強制し、単純な意思決定境界の過剰正則化を防ぐ。
• 代替モデルを用いて、抽出されたツリーの平均パス長（APL）を推定し、解釈性の代理指標として用いる。このAPLは深層モデルを逆誤差伝搬可能にしている。
• 標準的な予測損失に加え、APLと抽出ツリーへの忠実度に基づく正則化項を組み合わせた損失関数を用いて、深層モデルをエンドツーエンドで学習する。
• 代替モデルのトレーニング頻度と領域の優先順位をカスタマイズ可能にし、計算コストを低減するため、領域選択をバンディット問題として扱う。

実験結果

リサーチクエスチョン

• RQ1 トレーニング時における明示的な正則化によって、深層ニューラルネットワークを高精度かつ人間がシミュレート可能な形に学習させることは可能か？ これは、後処理による解釈ではなく、トレーニング段階で実現される。
• RQ2 深層モデルにグローバルまたは局所的ツリー構造を強制することで、予測性能を損なわず解釈性が向上するか？
• RQ3 L0ベースのスパarsity（sparsemaxを用いて）は、L1やL2正則化と比較して、意味のある非自明な意思決定境界を抽出ツリーに保つ上で優れているか？
• RQ4 局所的ツリー正則化により、ドメインエキスパートが文脈に応じた、臨床的に関連性のあるサブ集団におけるモデル行動を解釈できるようになるか？

主な発見

• 局所的ツリー正則化モデルでは、深層モデルとその抽出ツリーとの間で89％の忠実度を達成しており、多数の例で意思決定論理が強く一致していることが示された。
• L0領域正則化（sparsemax）は、L1、L2、softmax近似と比較して、低いAPL（平均パス長）と高いAUC最小値を達成し、自明な意思決定関数を避ける上で優れていた。
• Sepsisデータセットでは、局所的ツリー正則化により1エポックあたり約39.9秒の追加計算時間が発生した（L2と比較すると約2.4秒）。しかし、代替モデルの再利用により、これは管理可能でスケーラブルであった。
• 集中治療およびHIV分野の医師たちは、抽出された意思決定ツリーを素早く理解し、検証し、改善案を提示できた。実用的な解釈性の有効性が示された。
• この手法は、標準的な決定木よりもAUCで優れており、同時に低APLを維持していた。深層モデルにツリー正則化を施すことで、高精度かつシミュレータブルなモデルが実現可能であることが示された。
• 勾配フリー最適化手法（例：Nelder-Meadや入力摂動）は不安定または計算的に困難であったが、代替モデルベースの最適化はより安定的かつ効率的であった。