[論文レビュー] MonoNet: Towards Interpretable Models by Learning Monotonic Features

An-phi Nguyen, María Rodríguez Martínez|arXiv (Cornell University)|Sep 30, 2019

Explainable Artificial Intelligence (XAI)参考文献 36被引用数 5

ひとこと要約

MonoNetは、学習された特徴量とモデル出力の間の単調性を強制することで解釈可能性を向上させる深層学習フレームワークを提案する。特化した層を用いて構造的に単調性制約を埋め込むことで、特徴量の影響を独立して解釈可能にする。ベンチマークデータセット上で、従来手法に比べ優れた解釈可能性を実証した。

ABSTRACT

Being able to interpret, or explain, the predictions made by a machine learning model is of fundamental importance. This is especially true when there is interest in deploying data-driven models to make high-stakes decisions, e.g. in healthcare. While recent years have seen an increasing interest in interpretable machine learning research, this field is currently lacking an agreed-upon definition of interpretability, and some researchers have called for a more active conversation towards a rigorous approach to interpretability. Joining this conversation, we claim in this paper that the difficulty of interpreting a complex model stems from the existing interactions among features. We argue that by enforcing monotonicity between features and outputs, we are able to reason about the effect of a single feature on an output independently from other features, and consequently better understand the model. We show how to structurally introduce this constraint in deep learning models by adding new simple layers. We validate our model on benchmark datasets, and compare our results with previously proposed interpretable models.

研究の動機と目的

• 機械学習における解釈可能性の明確で合意された定義の欠如に対処すること。
• 特徴量同士の相互作用を単調性制約によって最小限に抑え、モデルの不透明性を低減すること。
• 深層学習モデルにおける人間によるシミュレーション可能性とアルゴリズムの透明性を実現すること。
• 後処理解釈手法の制限を回避する構造的でグローバルな解釈可能性ソリューションを提供すること。
• ニューラルネットワークにおける高い予測性能と解釈可能性のギャップを埋めること。

提案手法

• 特徴量と出力の間の単調関係を構造的層制約によって強制する新しいニューラルネットワークアーキテクチャ、MonoNetを導入する。
• 入力特徴量と隠れ表現の間の単調性を保証するシンプルで微分可能な層を採用し、特徴量の影響が一貫して正または負であることを保証する。
• 畳み込みフィルタの活性化マップに対してマックスプーリングを適用し、単調なユニットに要約することで、階層的な解釈可能な特徴量を形成する。
• 二段階の解釈プロセスを採用する：まず予測に関連する高レベルの単調特徴量を特定し、次にそれらを元のフィルターや活性化マップに遡る。
• 表形式データ（例：adult, random）および画像データ（例：MNIST, mushroom）に対して、単調特徴量ランク付けと階層的特徴量解釈を用いて手法を検証する。
• 自己説明型ニューラルネットワーク（SENN）と比較し、局所的解釈制約によるバイアスを回避する利点を示す。

実験結果

リサーチクエスチョン

• RQ1 特徴量と出力の間の単調性を強制することで、深層学習モデルの解釈可能性が向上するか？
• RQ2 予測性能を損なわせることなく、単調性をニューラルネットワークに構造的に埋め込む方法は何か？
• RQ3 単調特徴量は、他の特徴量に依存せずに、人間ユーザーがモデル意思決定を独立してシミュレート・推論可能にできるか？
• RQ4 MonoNetのアプローチは、安定性、局所性、識別可能性の観点から、後処理解釈手法と比べてどのように異なるか？
• RQ5 階層的な単調特徴量は、入力から出力へのエンドツーエンドの解釈をどの程度サポートできるか？

主な発見

• MonoNetは単調性を強制することで解釈可能性を向上させ、他の特徴量に依存せずに個々の特徴量の影響を独立して推論可能にした。
• モデルは階層的解釈を可能にし、高レベルの単調特徴量から特定のフィルターや活性化マップに遡ることで意思決定の根拠を明らかにした。
• MNISTデータセットでは、活性化マップを介して特定の画像領域に遡ることで、誤分類されたサンプルを効果的に同定した。
• 局所的解釈の問題、不安定性、局所的バイアス、計算コストを回避する点で、後処理手法を上回ったが、グローバルな解釈可能性を維持した。
• SENNと比較して、局所的最適化による重要度スコアを学習する必要がないため、局所的解釈制約に起因するバイアスを回避した。
• ベンチマークデータセットにおける実験結果から、単調特徴量学習が、正確さと解釈可能性の両方を満たすモデルを生み出すことが確認され、ハイリスク応用分野における信頼性を支えることが示された。