[논문 리뷰] Model Selection and Multiple Testing - A Bayesian and Empirical Bayes Overview and some New Results

Ritabrata Dutta, Malgortaza Bogdan외 1명|arXiv (Cornell University)|2015. 10. 02.

Statistical Methods and Inference참고 문헌 84인용 수 11

한 줄 요약

이 논문은 모형 선택과 다중 검정에 대한 포괄적인 베이지안 및 엠퍼리컬 베이지안 개요를 제공하며, 고차원 설정에서의 일致성 정의를 새롭게 도입하고, 모수의 수가 표본 크기보다 느리게 증가할 경우, 불완전한 사전분포를 정규화하기 위해 극히 소량의 데이터만을 할당하고 나머지 대부분의 데이터를 추론에 사용하는 것이 일치성을 최적화함을 규명한다. 주요 기여는 고차원 베이지안 모형 선택에서 데이터 분할 전략에 대한 이론적 근거를 제공하는 것이다.

ABSTRACT

We provide a brief overview of both Bayes and classical model selection. We argue tentatively that model selection has at least two major goals, that of finding the correct model or predicting well, and that in general both these goals may not be achieved in an optimum manner by a single model selection rule. We discuss, briefly but critically, through a study of well-known model selection rules like AIC, BIC, DIC and Lasso, how these different goals are pursued in each paradigm. We introduce some new definitions of consistency, results and conjectures about consistency in high dimensional model selection problems. Finally we discuss some new or recent results in Full Bayes and Empirical Bayes multiple testing, and cross-validation. We show that when the number of parameters tends to infinity at a smaller rate than sample size, then it is best from the point of view of consistency to use most of the data for inference and only a negligible proportion to make an improper prior proper.

연구 동기 및 목표

• 모형 선택에서 정확한 모형 식별과 최적의 예측이라는 이중 목표를 조화시키는 것, 특히 고차원 설정에서의 적용을 고려하여.
• AIC, BIC, DIC, Lasso와 같은 기존 모형 선택 규칙에서의 일관성 문제를 해결하기 위해, 베이지안 및 엠퍼리컬 베이지안 프레임워크 하에서 이들의 이론적 기초를 재평가하는 것.
• 유전체학과 같은 실제 상황(예: 유전자 연구)을 더 잘 반영하는 고차원 모형 선택을 위한 더 실용적인 일치성 정의를 제안하는 것.
• 교차검증과 교차검증 베이즈 요인의 역할을 분석하여, 모수의 수가 표본 크기와 함께 증가할 경우 모형 선택의 일관성을 향상시키는 데 기여하는지 조사하는 것.
• 유전체 연관 연구(GWAS)에서 관찰되는 것과 같은 고차원 및 복잡한 자료 구조에 대해 엠퍼리컬 베이지안 및 다중 검정 방법론을 확장하는 것.

제안 방법

• 고차원 모형 선택에서의 일치성 정의를 새롭게 제안하여, 전통적인 일치성의 엄격한 조건을 완화함으로써, 많은 약한 신호를 포함한 현대 자료에 더 적합하게 만드는 것.
• 벌점화된 우도와 오라클 리스크 경계를 적용하여 AIC 및 BIC와 같은 고전적 기준을 평가하고 비교함으로써, 특정 조건 하에서 AIC가 예측에 최적임을, BIC가 모형 선택에 최적임을 보여주는 것.
• 표본 크기보다 모수의 수가 느리게 증가하는 가정 하에, 불완전한 사전분포를 정규화하기 위해 극히 소량의 데이터만 사용하고, 나머지 대부분의 데이터는 추론에 사용하는 데이터 분할 전략을 제안하는 것.
• 이러한 데이터 분할 전략이 모형 선택에서 일관성을 확보할 수 있는 이론적 조건을, 대칭적 이탈 이론과 점근 이론을 활용하여 유도하는 것.
• 교차검증 베이즈 요인(CVBF)을 분석하고, 정규 조건 하에서는 표준 베이즈 요인과 점근적으로 동일한 성질을 가짐을 보이며, 설계상의 특성으로 인해 유한 표본에서는 다른 모형 선택 결과를 낳을 수 있음을 밝혀내는 것.
• 특히 순서화되거나 추세가 있는 자료에서 다중 검정 문제에 엠퍼리컬 베이지안 방법을 적용하고, 방향성 오류 제어를 통한 다차원 다중 검정 확장 가능성을 논의하는 것.

실험 결과

연구 질문

• RQ1 모수의 수가 표본 크기와 함께 증가할 경우, 정확한 모형 식별과 최적의 예측이라는 목표가 충돌할 때 모형 선택 규칙은 어떻게 평가할 수 있는가?
• RQ2 표본 크기와 함께 모수의 수가 증가하는 고차원 설정에서 더 적절하고 증명 가능한 일치성 정의는 무엇인가?
• RQ3 고차원 베이지안 모형 선택에서 대부분의 데이터를 추론에 사용하고 불완전한 사전분포를 정규화하기 위해 극히 소량의 데이터만 사용하는 것이 최적일 조건은 무엇인가?
• RQ4 교차검증 베이즈 요인(CVBF)은 표준 베이즈 요인과 어떤 점에서 다를 수 있으며, 이는 일관성에 어떤 영향을 미치는가?
• RQ5 엠퍼리컬 베이지안 및 다중 검정 프레임워크는 방향성 오류 제어가 가능한 복잡한 순서화된 실험 조건을 고차원 설정에서 다룰 수 있도록 확장될 수 있는가?

주요 결과

• 모수의 수가 표본 크기보다 느리게 증가할 경우, 거의 모든 데이터를 추론에 사용하고 불완전한 사전분포를 정규화하기 위해 극히 소량의 데이터만 사용하는 것이 일관성을 확보하는 데 최적임을 입증함.
• 제안된 고차원 모형 선택에서의 새로운 일치성 정의는 전통적 정의보다 더 실용적이고 증명하기 쉬우며, 특히 많은 약한 신호가 존재하는 설정에서 유리함.
• 교차검증 베이즈 요인(CVBF)은 정규 조건 하에서 표준 베이즈 요인과 점근적으로 동일한 성질을 가지지만, 설계상의 특성으로 인해 유한 표본에서는 다른 모형 선택 결과를 낳을 수 있음.
• 시뮬레이션 연구 결과, 다량의 진짜 회귀변수(예: 40개)가 존재하는 GWAS 유사 설정에서는 SIS(확실한 독립성 스크리닝) 절차가 비정상적 상관관계(다유전자 효과로 인한)로 인해 실패할 수 있음.
• 많은 약한 신호(다유전자)가 존재하는 고차원 설정에서 강력한 개별 유전자를 식별하기 위해서는 그 효과가 모든 다유전자 성분의 요약 효과를 초월해야 하며, 이는 중요한 식별 가능성 조건임을 시사함.
• 특히 순서화되거나 추세가 있는 자료에서 다중 검정에 대한 엠퍼리컬 베이지안 프레임워크는 방향성 오류 제어를 통해 확장 가능하지만, 이러한 다차원 문제에 대한 완전한 베이지안 해법은 아직 존재하지 않음.