[論文レビュー] Transparent Model Distillation.

Sarah Tan, Rich Caruana+2 more|arXiv (Cornell University)|Jan 26, 2018

Explainable Artificial Intelligence (XAI)参考文献 17被引用数 16

ひとこと要約

本稿では、多層パーセプトロン（MLP）教師モデルから解釈可能な学生モデル—具体的には一般化加法モデル（GA2Ms）および勾配ブースティングツリー（GBTs）—への知識伝達を通じて、モデルの透明性を向上させる透過的モデル蒸留について検討する。GA2Msは二値分類において有望な結果を示すが、GBTsは回帰において潜在的な可能性を示しており、GA2Msがグローバル関数近似のための加法的分解の計算的に効率的な代替手段となり得ると示唆される。

ABSTRACT

Model distillation was originally designed to distill knowledge from a large, complex teacher model to a faster, simpler student model without significant loss in prediction accuracy. We investigate model distillation for another goal -- transparency -- investigating if fully-connected neural networks can be distilled into models that are transparent or interpretable in some sense. Our teacher models are multilayer perceptrons, and we try two types of student models: (1) tree-based generalized additive models (GA2Ms), a type of boosted, short tree (2) gradient boosted trees (GBTs). More transparent student models are forthcoming. Our results are not yet conclusive. GA2Ms show some promise for distilling binary classification teachers, but not yet regression. GBTs are not directly interpretable but may be promising for regression teachers. GA2M models may provide a computationally viable alternative to additive decomposition methods for global function approximation.

研究の動機と目的

• 複雑なニューラルネットワークから解釈可能なモデルへの知識伝達によって、モデルの透明性を向上させられるかを調査すること。
• 二値分類タスクにおける一般化加法モデル（GA2Ms）を透明な学生モデルとしての性能を評価すること。
• 回帰タスクにおける勾配ブースティングツリー（GBTs）を学生モデルとしての実現可能性を評価すること。
• GA2Msがグローバル関数近似のための加法的分解法の計算的に効率的な代替手段となり得るかを特定すること。
• 蒸留モデルにおける予測精度と解釈可能性のトレードオフを明らかにすること。

提案手法

• 多層パーセプトロン（MLP）教師モデルから学生モデルへの蒸留を実施し、ソフトラベルおよび中間活性化を用いた知識蒸留を適用する。
• GA2Msを学生モデルとして用い、ブースティングと短い木の組み合わせにより、特徴量ごとの解釈可能性を持つ解釈可能な加法的モデルを構築する。
• 勾配ブースティングツリー（GBTs）を学生モデルとして採用し、木のアンサンブルを活用して複雑な関数を近似するが、本質的に解釈可能ではない。
• 蒸留プロセスは、学生モデルが教師の出力分布および内部表現を模倣するように訓練することを含む。
• GA2Msの場合、教師の予測から学ぶ際の加法的構造を保持することに焦点を当てる。
• 一般性を評価するために、二値分類および回帰タスクの両方を対象とする。

実験結果

リサーチクエスチョン

• RQ1 GA2Msは、二値分類タスクにおいてMLP教師モデルからの知識を効果的に蒸留できるか、かつ高い精度と解釈可能性を維持できるか？
• RQ2 GBTsへの蒸留は、標準的な学習と比較して回帰タスクの性能を向上させるか？
• RQ3 GA2Msはグローバル関数近似のための加法的分解法の計算的に効率的な代替手段となり得るか？
• RQ4 蒸留されたGA2Msの性能は、ベースラインの加法的モデルと比較して、精度と透明性の観点でどの程度か？
• RQ5 回帰設定において、MLPから木ベースのモデルへの知識伝達における蒸留の限界は何か？

主な発見

• GA2Msは、二値分類タスクにおけるMLP教師モデルからの知識蒸留において、高い解釈可能性を維持しながら競争力のある性能を示している。
• GA2Msへの蒸留は、回帰タスクではまだ強い結果をもたらさないため、この設定には限界があると示唆される。
• GBTsは本質的に解釈可能ではないが、回帰タスクにおいて潜在的な可能性を示しており、蒸留によってさらなる恩恵を受ける可能性がある。
• 本研究では、GA2Msがグローバル関数近似のための加法的分解法の計算的に実用的な代替手段となり得ると判明した。
• 結果はまだ明確ではないため、解釈可能なモデル向けの蒸留技術のさらなる検討が求められる。
• 特に回帰タスクにおいて、蒸留モデルとベースラインモデルの性能差は顕著に残っている。