[論文レビュー] Gaining Free or Low-Cost Transparency with Interpretable Partial Substitute

Tong Wang|arXiv (Cornell University)|Feb 12, 2018

Machine Learning and Data Classification参考文献 33被引用数 5

ひとこと要約

本稿では、予測性能にほとんどまたは全く影響を与えることなく解釈可能性を実現するため、ブラックボックスモデルを過剰に使用するデータサブセットにおいて、解釈可能な部分的代替モデルに置き換えるハイブリッドモデルフレームワークを提案する。ハイブリッドルールセット（HyRS）モデルは、データの一部において早期に解釈可能な意思決定ルールを用いて透明な予測を実施し、必要に応じてブラックボックスに依存する。実験では、82%の解釈可能性と77%の精度を達成し、解釈可能性と精度のトレードオフを示した。

ABSTRACT

This work addresses the situation where a black-box model with good predictive performance is chosen over its interpretable competitors, and we show interpretability is still achievable in this case. Our solution is to find an interpretable substitute on a subset of data where the black-box model is overkill or nearly overkill while leaving the rest to the black-box. This transparency is obtained at minimal cost or no cost of the predictive performance. Under this framework, we develop a Hybrid Rule Sets (HyRS) model that uses decision rules to capture the subspace of data where the rules are as accurate or almost as accurate as the black-box provided. To train a HyRS, we devise an efficient search algorithm that iteratively finds the optimal model and exploits theoretically grounded strategies to reduce computation. Our framework is agnostic to the black-box during training. Experiments on structured and text data show that HyRS obtains an effective trade-off between transparency and interpretability.

研究の動機と目的

• 高精度なブラックボックスモデルが解釈可能な代替モデルよりも好まれる中で、モデルの解釈可能性を達成する課題に対処すること。
• ブラックボックスモデルが過剰に使用されるデータサブセットにおいて、完全な忠実度の解釈可能性を提供する手法を開発し、事後的近似誤差を回避すること。
• ブラックボックスモデルと同等の性能を示す解釈可能なモデルを、その性能が著しく劣らないデータサブスペースに限定することで、解釈可能性に伴う性能コストを最小限に抑えること。
• 時間に依存しない特徴量のみを用いて、解釈可能なルールを活用することで、データの一部について早期かつコスト効率の良い予測を可能にすること。
• 任意の解釈可能なモデルとブラックボックスモデルを統合できる汎用的なフレームワークを提供すること。線形モデル、決定木、プロトタイプベースのモデルなど、多様なモデルタイプをサポートすること。

提案手法

• フレームワークは逐次的意思決定プロセスを採用する：まず解釈可能なモデル（例：ルールセット）を適用し、信頼度が十分であれば予測を実行し、そうでなければブラックボックスモデルを起動する。
• ハイブリッドルールセット（HyRS）は、関連ルールを解釈可能な局所的代替モデルとして用い、ブラックボックスモデルがほぼ不要となるデータ上で訓練される。
• 計算コストを低減するために理論的戦略を活用し、最適なルールセットを段階的に特定するための効率的な探索アルゴリズムを開発した。
• トレーニング段階ではブラックボックスモデルの種類に依存しないため、任意の既存のブラックボックスモデルと統合可能である。
• モデルは、ケース開始時に入手可能な時間に依存しない特徴量のみを用いてトレーニングされるため、時系列データの到着を待たずに早期予測が可能になる。
• 閾値パラメータ（θ₂）を変化させることで、解釈可能性（ルールでカバーされるデータの割合）と精度のトレードオフ曲線を生成し、ユーザーが最適なモデル設定を選択できるようにする。

実験結果

リサーチクエスチョン

• RQ1 ブラックボックスモデルが過剰に使用されるデータサブセットにおいて、予測性能を損なわず、完全な忠実度の解釈可能性を達成できるか？
• RQ2 ハイブリッドモデル設定において、モデルの解釈可能性（解釈可能なルールで説明されるデータの割合）と予測精度のトレードオフは何か？
• RQ3 解釈可能なモデルを有効に部分的代替として用いることで、ブラックボックスモデルへの依存度を低下させつつ、高い性能を維持できるか？
• RQ4 ブラックボックスの意思決定境界を事前に把握しない状態で、解釈可能なモデルを効率的に訓練し、最大で高精度なデータサブスペースをカバーできるか？
• RQ5 提案されたフレームワークは、多様な解釈可能なモデル（例：線形モデル、決定木）と任意のブラックボックスモデルを統合できるように一般化可能か？

主な発見

• HyRSモデルは、解釈可能なルールで82%のデータをカバーする82%の解釈可能性を達成し、77%の予測精度を示した。これは、純粋な解釈可能なモデルよりも精度が高く、かつ顕著なデータサブセットで解釈可能性を維持している。
• モデルは、4つの正例ルールと3つの負例ルールで82%のデータをカバーしており、残りの18%のインスタンスのみがブラックボックスモデルにルーティングされる。これにより、複雑なモデルへの依存度が最小限に抑えられた。
• フレームワークは、解釈可能性と精度のトレードオフを可能にし、図4の曲線は、解釈可能性を高めると精度が徐々にかつ予測可能な低下を示すが、常に純粋な解釈可能なモデルの性能を上回ることを示している。
• 時間に依存しない特徴量のみを用いた解釈可能なルールの使用により、医療クラウドファンディングにおいて早期予測が可能となり、高コストまたは時間のかかるデータ収集への依存度が低下した。
• 深層LSTMモデルをブラックボックス基準として用い、テスト精度が0.96に達する高い予測性能を達成した。これにより、フレームワークの実世界での有効性が裏付けられた。
• フレームワークは汎用的であり、線形モデル、決定木、プロトタイプベースのモデルなど、多様な解釈可能なモデルとの統合を可能としている。論文の広範な文脈において、これによりその有効性が実証された。