[論文レビュー] Limitations of "Limitations of Bayesian leave-one-out cross-validation for model selection"

Aki Vehtari, Daniel Simpson+2 more|arXiv (Cornell University)|Oct 12, 2018

Statistical Methods and Bayesian InferenceMathematics参考文献 17被引用数 21

ひとこと要約

この論文は、GronauとWagenmakers（2018）におけるベイジアンleave-one-out交差検証（LOO-CV）に対する批判に挑戦し、彼らの解釈が標準的で推奨されるLOOの使用法を誤解していると主張する。LOOは単一の数値による意思決定ルールに還元されるべきではなく、不確実性の推定とモデル重み（疑似BMA+またはスタッキング）を用いて使用すべきであると提唱する。特に、LOOは予測性能とモデル適合度を評価するための診断統計量（例：$\hat{k}$統計量）を併用して用いるべきであり、単一の数値による判断基準として使用すべきではない。

ABSTRACT

This article is an invited discussion of the article by Gronau and Wagenmakers (2018) that can be found at https://dx.doi.org/10.1007/s42113-018-0011-7.

研究の動機と目的

• GronauとWagenmakers（2018）におけるベイジアンleave-one-out交差検証（LOO-CV）に対する批判を是正すること、特にLOOが根本的に欠陥を有するとする主張の是正。
• LOOが単一の数値による意思決定ルールとして用いられるべきでないことを主張し、不確実性の定量化と診断的チェックを併用すべきであることを強調すること。
• LOOにおけるモデル重み付けのための疑似ベイズ因子よりも、疑似BMA+重みとスタッキングを優れた代替手段として推奨すること。
• 影響力の強い観測値やモデルの不適合を検出するための診断統計量（例：$\hat{k}$統計量）の重要性を強調すること。
• LOOは、明確に正しいモデルがない場合に特に、モデル選択を強制するのではなくモデルの批判的評価に適していると強調すること。

提案手法

• LOO-CVを予測密度の期待対数尤度の推定値として再解釈し、LOO推定値の経験的分散を用いて不確実性を定量化する。
• 疑似ベイズ因子の代わりに、対数予測密度差の正規性を仮定し、それに応じてモデル重みを調整する疑似BMA+重みを推奨する。
• LOOの原則を直接適用するより整合性のあるモデル結合法として、スタッキング重みを提案する。
• LOO差の各データポイントごとの寄与度に分解することで、問題のある観測値やモデルとデータの不適合を特定する。
• LOOの$\hat{k}$診断統計量を用いて、観測値を除外した際に予測分布が著しく変化する高リーダー点（高 leverage 点）を検出する。
• LOOにおける条件付き交換可能性の重要性を強調し、時系列、空間的、階層的モデルではブロックベースの交差検証を用いない限りLOOを使用すべきでないと警告する。

実験結果

リサーチクエスチョン

• RQ1 LOOに基づくモデル選択において、疑似ベイズ因子のような単一の数値要約を使用することがなぜ問題なのか？
• RQ2 モデル比較において、LOO推定値の不確実性を適切に取り扱うにはどうすればよいか？
• RQ3 LOOに基づくモデル平均化において、疑似BMA+重みとスタッキング重みは疑似ベイズ因子に比べてどのような利点があるか？
• RQ4 LOOの診断統計量（例：$\hat{k}$）は、どのようにしてモデルの批判的評価を高め、モデルの不適合を明らかにするか？
• RQ5 LOOが失敗する条件は何か？そして、これらの失敗はどのように検出され、回避できるか？

主な発見

• GronauとWagenmakers（2018）で使用された疑似ベイズ因子は、標準的なLOOの実践（不確実性の定量化とモデル重みの併用）を代表していない。
• 対数予測密度差の正規性を仮定する疑似BMA+重みは、疑似ベイズ因子よりも適切でより頑健な代替手段である。
• スタッキング重みはLOOの原則を直接適用するより整合性のあるモデル結合法を提供し、予測性能を向上させる。
• $\hat{k}$診断統計量は、観測値を除外した際に予測が著しく変化する高リーダー点を効果的に特定する。
• LOO自体は本質的に欠陥を有するものではなく、データがモデルパラメータの下で交換可能でない場合、または将来のデータが観測データと著しく異なる場合に失敗する。
• LOOは、すべてのモデルが不適切である場合に単一のモデルを選ばないことで、エピステモロジカルな不確実性を表現できる。これは、周辺尤度法とは対照的であり、適合度にかかわらず常に一つのモデルを選ぶ傾向がある。