[論文レビュー] MDL-motivated compression of GLM ensembles increases interpretability and retains predictive power

Boris Hayete, Matthew Valko+2 more|arXiv (Cornell University)|Nov 21, 2016

Explainable Artificial Intelligence (XAI)参考文献 1被引用数 3

ひとこと要約

本稿では、一般化線形モデル（GLM）アンサンブルの最小記述長（MDL）に基づく圧縮手法を提案し、予測性能の損失を最小限に抑えつつ解釈可能性を著しく向上させている。階層的クラスタリングを用いてGLM係数をクラスタリングし、各クラスタを重心によって要約することで、アンサンブルのサイズを縮小しつつAUCを維持している。複数のデータセットにおいて、完全なアンサンブルとほぼ同一の性能を示しており、特に肺腺がんでは0.67のAUC、白血病では0.99のAUCを達成している。

ABSTRACT

Over the years, ensemble methods have become a staple of machine learning. Similarly, generalized linear models (GLMs) have become very popular for a wide variety of statistical inference tasks. The former have been shown to enhance out- of-sample predictive power and the latter possess easy interpretability. Recently, ensembles of GLMs have been proposed as a possibility. On the downside, this approach loses the interpretability that GLMs possess. We show that minimum description length (MDL)-motivated compression of the inferred ensembles can be used to recover interpretability without much, if any, downside to performance and illustrate on a number of standard classification data sets.

研究の動機と目的

• 高次のモデル複雑性により、解釈性と精度のトレードオフが生じるGLMアンサンブルの問題に対処すること。
• 大規模なGLMアンサンブルを、予測力に劣らない、コンactかつ解釈可能な要約に圧縮する手法を開発すること。
• モデルの透明性が不可欠な分野、例えば翻訳的医療分野での実用的導入を可能にすること。
• MDL原則に基づく重心による圧縮が、完全なアンサンブルと同等の性能を維持しているかどうかを検証すること。

提案手法

• 統計的有意性（−log p値）を特徴表現として用い、GLMアンサンブルメンバーを高次元のデカルト空間上の係数ベクトルとして表現する。
• 係数パターンに基づいて類似したGLMモデルを階層的クラスタリングによりグループ化し、共通の予測構造を持つモデルのクラスタを同定する。
• 各クラスタのモデルに共通する項のみを用いて重心モデルを再適合させることで、解釈可能性とスパarsityを確保する要約を行う。
• モデルの適合度と記述長のバランスを取るために、ベイジアン情報基準（BIC）をスコア関数として用い、クラスタ選択と圧縮をガイドする。
• 3つのfoldと3回の繰り返しを用いたOut-of-sample AUCと対応t検定を用いて、性能の安定性を評価する。
• メドイドベースと重心ベースの2つの圧縮戦略を比較し、完全なアンサンブルを基準とする。

実験結果

リサーチクエスチョン

• RQ1 MDLに基づくGLMアンサンブルの圧縮は、予測性能を維持しつつ、解釈可能性を著しく向上させることができるか？
• RQ2 予測精度とモデルの単純さという観点から、重心ベースの圧縮はメドイドベースの圧縮と比べてどのように異なるか？
• RQ3 アンサンブルの圧縮によって、モデルサイズと複雑さはどれほど軽減され、Out-of-sample AUCはどの程度劣化しないか？
• RQ4 多様なデータセットにおいて、圧縮されたアンサンブルの性能劣化は統計的に有意であるか？

主な発見

• 重心圧縮されたGLMアンサンブルは、肺腺がんデータセットでOut-of-sample AUC 0.67を達成し、完全なアンサンブルと同等の性能（片側t検定でp = 0.07）を示した。
• 白血病データセットでは、重心圧縮アンサンブルがAUC 0.99を達成し、完全なアンサンブルと同等であり、有意な性能損失は認められなかった。
• メドイド圧縮アンサンブルは、肺腺がんデータセットでわずかだが統計的に有意な性能低下（p = 0.004）を示し、AUCは0.63であったのに対し、完全なアンサンブルは0.67であった。
• 重心ベースの圧縮戦略により、肺腺がんデータセットでは2つのモデルに3つの予測子のみが残ったのに対し、圧縮前のアンサンブルは解釈不能な数の予測子を有していた。
• 性能劣化は最小限であり、p = 0.05〜0.1の範囲で統計的に示唆的であったため、複数のデータセットにわたり高い耐性を示した。
• 本手法により、圧縮モデルの手動による徹底的な検査が可能となり、特に小標本設定（p >> n）において、係数の標準誤差の過適合パターンが明らかになった。