[論文レビュー] Human-in-the-Loop Interpretability Prior

Isaac Lage, Andrew Slavin Ross+3 more|arXiv (Cornell University)|May 29, 2018

Fault Detection and Control Systems被引用数 45

ひとこと要約

予測性能と解釈性の両方を備えたモデルを最適化するための人間をループさせた事前分布 p(M) を導入し、モデルベースの最適化アプローチを用いて必要なユーザースタディの回数を最小化します。

ABSTRACT

We often desire our models to be interpretable as well as accurate. Prior work on optimizing models for interpretability has relied on easy-to-quantify proxies for interpretability, such as sparsity or the number of operations required. In this work, we optimize for interpretability by directly including humans in the optimization loop. We develop an algorithm that minimizes the number of user studies to find models that are both predictive and interpretable and demonstrate our approach on several data sets. Our human subjects results show trends towards different proxy notions of interpretability on different datasets, which suggests that different proxies are preferred on different tasks.

研究の動機と目的

• モデル訓練に人間の解釈可能性を統合して安全性と有用性を高めることを動機付ける。
• 人間のフィードバックから直接人間の解釈可能性の嗜好を取り込む実用的な事前分布 p(M) を提案する。
• 高確率で予測性能が高く解釈性を最適化するための費用対効果の高いパイプラインを開発し、少数のユーザースタディで達成する。
• 異なるデータセットが異なる解釈可能性の代理指標に整合することを示し、文脈依存の嗜好を強調する。

提案手法

• SILFベースの尤度で p(X|M) を定義して、閾値付きの性能基準をエンコードする。
• 人間の評価者の平均応答時間（RT）を取り入れた人間解釈可能性事前分布（HIS）として p(M) を定義する。
• 複雑なモデルを局所的に近似するローカルプロキシを用いて、HIS評価のために任意のモデルに対して p(M) を拡張する。
• モデルベースの最適化（ガウス過程と UCB獲得関数）を用いて p(M) を評価するモデルを選択する。
• p(X|M) を用いて高確率モデルの diverse な集合を特定し、それらの中からユーザースタディを最小限に抑えつつ p(X|M)p(M) を最大化する。

実験結果

リサーチクエスチョン

• RQ1 人間の嗜好を直接反映する解釈可能性を定量化するにはどうすればよいか。
• RQ2 人間の評価を最小限に抑えつつ、正確で解釈可能なモデルを効率的に特定できるか。
• RQ3 データセットやモデルクラスを跨いで、解釈可能性の異なる代理指標が人間の判断と一致するか。
• RQ4 局所プロキシを用いることと完全なモデルを用いることの解釈可能性事前分布の推定への影響は何か。

主な発見

• 異なる解釈可能性の代理指標は、それぞれのデータセットで最適なモデルを導く。
• データポイントの小さなサンプルで適切な解釈可能性代理指標を計算することは、より大きなサンプルで誤った代理指標を用いるよりも優れていることが多い。
• モデルベースの最適化は、データセットを跨いで人間の嗜好に適合する解釈可能なモデルを見つける際にランダムなモデル選択よりも優れている。
• 人間をループに組み込んだ最適化は、応答時間が速く、代理指標スコアが低いモデルを生み出し、人間の解釈可能性と整合していることを示す。