[논문 리뷰] Bayesian Cross Validation and WAIC for Predictive Prior Design in Regular Asymptotic Theory

Sumio Watanabe|arXiv (Cornell University)|2015. 03. 27.

Advanced Multi-Objective Optimization Algorithms참고 문헌 9인용 수 4

한 줄 요약

이 논문은 정규 통계 모델에서 하이퍼프리어를 최적화하기 위해 베이지안 교차검증(CV)과 WAIC를 사용하는 데 이론적 기반을 마련한다. CV 또는 WAIC를 최소화하면 渐近적으로 평균 일반화 손실을 최소화함을 증명하며, 하이퍼파rameter에 대한 함수로서 이러한 기준을 직접 계산할 수 있는 명시적 공식을 제공함으로써, 반복적인 사후 분포 계산 없이도 효율적이고 안정적인 하이퍼파rameter 최적화가 가능해지고 분산이 감소한다.

ABSTRACT

Prior design is one of the most important problems in both statistics and machine learning. The cross validation (CV) and the widely applicable information criterion (WAIC) are predictive measures of the Bayesian estimation, however, it has been difficult to apply them to find the optimal prior because their mathematical properties in prior evaluation have been unknown and the region of the hyperparameters is too wide to be examined. In this paper, we derive a new formula by which the theoretical relation among CV, WAIC, and the generalization loss is clarified and the optimal hyperparameter can be directly found. By the formula, three facts are clarified about predictive prior design. Firstly, CV and WAIC have the same second order asymptotic expansion, hence they are asymptotically equivalent to each other as the optimizer of the hyperparameter. Secondly, the hyperparameter which minimizes CV or WAIC makes the average generalization loss to be minimized asymptotically but does not the random generalization loss. And lastly, by using the mathematical relation between priors, the variances of the optimized hyperparameters by CV and WAIC are made smaller with small computational costs. Also we show that the optimized hyperparameter by DIC or the marginal likelihood does not minimize the average or random generalization loss in general.

연구 동기 및 목표

• CV와 WAIC를 하이퍼파ram터 최적화에 사용할 때의 이론적 모순을 해결하기 위해, 특히 평균 일반화 손실과의 관계를 다루기 위해.
• 넓은 하이퍼파rameter 공간에서 사후 분포를 반복적으로 계산해야 하는 데 기인한 높은 계산 비용으로 인한 실용적 과제를 해결하기 위해.
• CV, WAIC, DIC, 및 주변 가능도를 통한 하이퍼파라미터 최적화의 渐近적 행동을 분석하여, 일반화 오차 최소화와의 관계를 명확히 하기 위해.
• CV와 WAIC를 하이퍼파라미터의 함수로 직접 추정할 수 있는 방법을 제공하여, 모든 후보를 비교하는 데서 자유로운 효율적 최적화를 가능하게 하기 위해.
• 사전 분포와 자기 평균 성질 사이의 수학적 관계를 활용하여 최적화된 하이퍼파라미터의 분산을 줄이기 위해.

제안 방법

• CV와 WAIC를 하이퍼파라미터의 명시적 함수로 표현하는 새로운 이론적 공식을 유도하여, 반복적인 사후 샘플링 없이도 직접 계산이 가능하도록 한다.
• 정규적인 渐近적 이론을 적용하여 CV와 WAIC의 두 번째 차수 전개를 분석하고, 이들이 평균 일반화 손실을 최소화하는 데 동일한 역할을 함을 보여준다.
• 특이 학습 이론과 분리 가능한 파라미터 개념을 활용하여, CV와 WAIC가 최솟값을 가지지 못할 조건을 규명한다.
• 여러 데이터 세트에 걸쳐 CV와 WAIC의 기대값을 추정하는 자기 평균 기법을 도입하여 최적화된 하이퍼파라미터의 분산을 줄인다.
• 이론적 渐近적 분석을 통해 CV, WAIC, DIC, 주변 가능도의 일반화 손실 최소화 성능을 비교한다.
• 예측 또는 경험 분포에서 몬테카를로 샘플링을 통해 WAICRS(자기 평균 WAIC)의 수치적 추정을 제안하여 안정성을 향상시킨다.

실험 결과

연구 질문

• RQ1 정규 모델에서 하이퍼파라미터 최적화 도구로서 CV와 WAIC는 渐近적으로 동일한가?
• RQ2 CV 또는 WAIC를 최소화하면 평균 일반화 손실을 渐近적으로 최소화하는가? 이는 무작위 일반화 손실을 최소화하는 것과 어떻게 다를까?
• RQ3 새로운 분석 공식을 통해 점검할 필요 없이 최적의 하이퍼파라미터를 직접 찾을 수 있는가?
• RQ4 CV와 WAIC로 최적화된 하이퍼파라미터의 분산은 어떻게 비교되며, 자기 평균을 통해 감소시킬 수 있는가?
• RQ5 왜 DIC와 주변 가능도는 渐近적으로도 평균 일반화 손실을 최소화하지 못하는가?

주요 결과

• CV와 WAIC는 두 번째 차수의 渐近적 전개가 동일하여, 정규 모델에서 하이퍼파라미터 최적화 도구로써 渐近적으로 동일한 성능을 보인다.
• CV 또는 WAIC를 최소화하면 평균 일반화 손실을 渐近적으로 최소화하지만, 특정 훈련 세트에 의존하는 무작위 일반화 손실을 최소화하지는 않는다.
• CV 또는 WAIC를 통해 구한 최적의 하이퍼파라미터는 단일 데이터 세트에서 관측된 오차가 아닌 기대 일반화 오차를 최소화하는 값으로 수렴한다.
• 새로운 분석 공식 덕분에 하이퍼파라미터의 함수로서 CV와 WAIC를 직접 계산할 수 있어, 후보 평가를 반복적으로 수행할 필요 없이 계산 비용을 줄일 수 있다.
• 자기 평균 기법을 적용하면 최적화된 하이퍼파라미터의 분산을 줄일 수 있으며, 특히 WAICRS는 표준 CV나 WAIC보다 낮은 분산을 보인다.
• DIC나 주변 가능도로 최적화된 하이퍼파라미터는 CV나 WAIC와 달리 渐近적으로도 평균 일반화 손실을 최소화하지 못한다.