[論文レビュー] Bayesian Cross Validation and WAIC for Predictive Prior Design in Regular Asymptotic Theory

Sumio Watanabe|arXiv (Cornell University)|Mar 27, 2015

Advanced Multi-Objective Optimization Algorithms参考文献 9被引用数 4

ひとこと要約

この論文は、正則な統計モデルにおけるハイパーパriorの最適化にベイジアン交差検証（CV）とWAICを用いる理論的基盤を確立する。CVまたはWAICを最小化することは、漸近的に平均一般化損失を最小化することを証明しており、これらの基準をハイパーパrameterの関数として直接計算するための明示的公式を提供する。これにより、反復的な事後分布の計算を回避し、分散を低減した効率的で安定したハイパーパrameter最適化が可能になる。

ABSTRACT

Prior design is one of the most important problems in both statistics and machine learning. The cross validation (CV) and the widely applicable information criterion (WAIC) are predictive measures of the Bayesian estimation, however, it has been difficult to apply them to find the optimal prior because their mathematical properties in prior evaluation have been unknown and the region of the hyperparameters is too wide to be examined. In this paper, we derive a new formula by which the theoretical relation among CV, WAIC, and the generalization loss is clarified and the optimal hyperparameter can be directly found. By the formula, three facts are clarified about predictive prior design. Firstly, CV and WAIC have the same second order asymptotic expansion, hence they are asymptotically equivalent to each other as the optimizer of the hyperparameter. Secondly, the hyperparameter which minimizes CV or WAIC makes the average generalization loss to be minimized asymptotically but does not the random generalization loss. And lastly, by using the mathematical relation between priors, the variances of the optimized hyperparameters by CV and WAIC are made smaller with small computational costs. Also we show that the optimized hyperparameter by DIC or the marginal likelihood does not minimize the average or random generalization loss in general.

研究の動機と目的

• CVおよびWAICをハイパーパrameter最適化に用いる際の理論的不整合を解消すること、特にそれらが平均一般化損失とどのように関係するかに焦点を当てる。
• 広いハイパーパrameter空間における事後分布の計算を繰り返す必要があるため、ハイパーパrameter探索における高い計算コストという実用的課題に対処すること。
• CV、WAIC、DIC、および周辺尤度によるハイパーパrameter最適化の漸近的挙動を明らかにし、一般化誤差の最小化との関係を明確にすること。
• CVおよびWAICをハイパーパrameterの関数として直接推定する手法を提供し、全候補の比較を避けた効率的な最適化を可能にすること。
• 事前分布と自己平均化性の数学的関係を活用して、最適化されたハイパーパrameterの分散を低減すること。

提案手法

• CVおよびWAICをハイパーパrameterの明示的関数として表現する新しい理論的公式を導出。これにより、繰り返し事後分布のサンプリングを回避し、直接計算が可能になる。
• 正則な漸近的理論を適用して、CVおよびWAICの2次近似展開を分析し、それらが平均一般化損失を最小化する点で同等であることを示す。
• 特異学習理論と発散パラメータの概念を用いて、CVおよびWAICが最小値を持たない場合の条件を同定する。
• 自己平均化法を導入し、複数のデータセットにおけるCVおよびWAICの期待値を推定することで、最適化されたハイパーパラメータの分散を低減する。
• 理論的漸近的分析を用いて、CV、WAIC、DIC、周辺尤度が一般化損失を最小化する性能を比較する。
• 予測分布または実証的分布からのモンテカルロサンプリングを用いて、WAICRS（自己平均化WAIC）の数値推定を提案し、安定性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 正則モデルにおいて、CVとWAICはハイパーパラメータ最適化の観点で漸近的に同等であるか？
• RQ2 CVまたはWAICを最小化することは、漸近的に平均一般化損失を最小化するのか？また、これは特定の訓練データセットに依存するランダム一般化損失を最小化するのとどのように異なるのか？
• RQ3 新しい解析的公式を用いることで、全候補の探索を避け、直接最適ハイパーパラメータを特定できるか？
• RQ4 CVおよびWAICで最適化されたハイパーパラメータの分散はどのように比較されるか？また、自己平均化を用いることで低減可能か？
• RQ5 DICおよび周辺尤度がなぜ漸近的に平均一般化損失を最小化しないのか？

主な発見

• CVおよびWAICは、同じ2次漸近的展開を持つため、正則モデルにおけるハイパーパラメータ最適化の観点で漸近的に同等である。
• CVまたはWAICを最小化することは、漸近的に平均一般化損失を最小化するが、特定の訓練データセットに依存するランダム一般化損失を最小化するわけではない。
• CVまたはWAICによって得られる最適ハイパーパラメータは、特定のデータセットでの観測誤差ではなく、期待一般化誤差を最小にする値に収束する。
• 新しい解析的公式により、CVおよびWAICをハイパーパラメータの関数として直接計算できるようになり、全候補評価の必要がなくなり、計算コストが削減される。
• 自己平均化技術を適用することで、最適化されたハイパーパラメータの分散を低減可能であり、特にWAICRSは標準的なCVやWAICよりも低い分散を示す。
• DICまたは周辺尤度で最適化されたハイパーパラメータは、CVやWAICとは異なり、漸近的に平均一般化損失を最小化しない。