[論文レビュー] Computing AIC for black-box models using Generalised Degrees of Freedom: a comparison with cross-validation

Severin Hauenstein, Carsten F. Dormann+1 more|arXiv (Cornell University)|Mar 9, 2016

Explainable Artificial Intelligence (XAI)参考文献 26被引用数 3

ひとこと要約

本稿では、一般化自由度（GDF）を用いてブラックボックス機械学習モデルのAICを計算する手法を検討し、特にベルヌーイ分布に従うデータに対して適用する。GDFは理論的に整合性のあるモデルの複雑さの指標を提供するが、本研究では計算が非常に高コストで不安定であり、二値データにおける摂動に対して一貫性のない感度を示すことが判明した。その結果、GDFは実用的でないことが結論づけられ、代替として繰り返し10分割交差検証が、このような文脈におけるモデルの複雑さ推定においてより頑健で、効率的かつ実用的であると結論づけられた。

ABSTRACT

Generalised Degrees of Freedom (GDF), as defined by Ye (1998 JASA 93:120-131), represent the sensitivity of model fits to perturbations of the data. As such they can be computed for any statistical model, making it possible, in principle, to derive the number of parameters in machine-learning approaches. Defined originally for normally distributed data only, we here investigate the potential of this approach for Bernoulli-data. GDF-values for models of simulated and real data are compared to model complexity-estimates from cross-validation. Similarly, we computed GDF-based AICc for randomForest, neural networks and boosted regression trees and demonstrated its similarity to cross-validation. GDF-estimates for binary data were unstable and inconsistently sensitive to the number of data points perturbed simultaneously, while at the same time being extremely computer-intensive in their calculation. Repeated 10-fold cross-validation was more robust, based on fewer assumptions and faster to compute. Our findings suggest that the GDF-approach does not readily transfer to Bernoulli data and a wider range of regression approaches.

研究の動機と目的

• 一般化自由度（GDF）をモデルの複雑さの代理指標として用いることで、尤度に基づかない機械学習モデルへのAICの拡張を試みる。
• ベルヌーイ分布に従うデータに対するGDFベースのAICの安定性、正確性、計算可能性を、交差検証と比較して評価する。
• GDFがブラックボックスモデルにおけるモデル選択およびアンサンブルの文脈で交差検証の代替として実用的かどうかを検証する。
• ランダムフォレスト、ニューラルネットワーク、ブーストドレグレッションツリーを含む多様なモデルにおけるGDFの実用性を評価する。
• GDFベースのAICと交差検証から得られるデヴァイアンスおよびモデルの複雑さ推定値を、頑健性と計算コストの観点から比較する。

提案手法

• 個々のデータポイントの摂動を用いて、適合値が観測応答の変化に対してどれほど感度があるかを推定することでGDFを計算する。式は GDF = trace(H) = Σ ∂ŷ_i / ∂y_i である。
• ベルヌーイ分布データへのGDFの適応において、複数の観測値を同時に摂動させ、モデルの反応を評価するが、このような状況では既知の不安定性が存在する。
• GDFベースのAICcと、繰り返し10分割交差検証から得られるAICを、シミュレーテッドおよび実際の生態学的データセットを用いて比較する。
• 交差検証を用いて、完全モデルとホールアウトセット間の対数尤度の差（Δℓ^CV_m）によりモデルの複雑さを推定し、ベンチマークとして用いる。
• GDFに必要なモデルフィット回数（数万回）と交差検証に必要な回数（約1000回）を数えることで、計算効率を評価する。
• ランダムフォレスト、ニューラルネットワーク、ブーストドレグレッションツリーといった多様なモデルにアプローチを適用し、アルゴリズムタイプを超えた一般化可能性を検証する。

実験結果

リサーチクエスチョン

• RQ1 一般化自由度（GDF）は、ベルヌーイ分布に従うデータにおけるブラックボックスモデルのモデル複雑さを信頼性を持って推定できるか？
• RQ2 GDFベースのAICcは、交差検証に基づくモデル複雑さおよびデヴァイアンス推定値と比較して、安定性と正確性においてどの程度優れているか？
• RQ3 GDFアプローチは、特に大規模または複雑なモデルにおいて、実用的なモデル選択に計算可能か？
• RQ4 GDF法は、ランダムフォレストやブーストドレグレッションツリーを含む、さまざまな機械学習アルゴリズムにおいて一貫した結果をもたらすか？
• RQ5 GDFベースのAICはモデルアンサンブルに効果的に使用できるか、それとも交差検証がより適切な代替手段か？

主な発見

• ベルヌーイ分布データに対するGDF推定値は不安定であり、同時に摂動されたデータポイント数に対して一貫性のない感度を示し、信頼性を損なった。
• GDFアプローチは極めて計算コストが高く、数万回のモデルフィットを要するため、大多数の実世界応用には現実的でなかった。
• 繰り返し10分割交差検証は、より頑健で、仮定が少なく、GDFベース推定よりもはるかに高速であった。
• GDFベースのAICcは一部のケースで交差検証結果と類似していたが、GDF推定の不安定性が実用的価値を制限した。
• 交差検証に基づくモデル複雑さ推定値（Δℓ^CV_m）は、GDFよりも任意の摂動選択に依存せず、より直接的に解釈可能であった。
• 本研究の結論として、GDFは尤度に基づかないモデルにおけるモデル複雑さ推定の代替手段として、交差検証に比べて実用的でなく、信頼性も低いと結論づけられた。特に二値出力の文脈では、交差検証がより適切な代替手段である。