[논문 리뷰] Robust and Scalable Bayes via a Median of Subset Posterior Measures

Stanislav Minsker, Sanvesh Srivastava외 2명|arXiv (Cornell University)|2017. 01. 01.

Advanced Statistical Methods and Models인용 수 68

한 줄 요약

이 논문은 데이터를 겹치지 않는 부분집합으로 나누고, 각 부분집합에 대해 사후분포를 계산한 후, 거리 공간에서 확률측도의 중앙값을 통해 이를 조합하는 강건하고 확장 가능한 베이지안 추론 방법을 제안한다. 이 방법은 이상치에 강건하고 계산 효율성이 뛰어나며, 이론적 및 실증적 검증을 통해 성능이 입증된다.

ABSTRACT

We propose a novel approach to Bayesian analysis that is provably robust to outliers in the data and often has computational advantages over standard methods. Our technique is based on splitting the data into non-overlapping subgroups, evaluating the posterior distribution given each independent subgroup, and then combining the resulting measures. The main novelty of our approach is the proposed aggregation step, which is based on the evaluation of a median in the space of probability measures equipped with a suitable collection of distances that can be quickly and efficiently evaluated in practice. We present both theoretical and numerical evidence illustrating the improvements achieved by our method.

연구 동기 및 목표

• 데이터 이상치에 강건하면서도 계산 확장성을 유지하는 베이지안 추론 방법을 개발하는 것.
• 오염되거나 꼬리가 두꺼운 데이터에 직면했을 때 기존의 표준 베이지안 방법의 한계를 해결하는 것.
• 통계적으로 타당하고 계산적으로 효율적인 방식으로 부분집합 사후분포를 조합하는 기계를 설계하는 것.
• 제안된 방법의 강건성과 일致성에 대한 이론적 보장을 제공하는 것.
• 실제 및 시뮬레이션 데이터 세트를 활용한 수치 실험을 통해 실용적 이점을 입증하는 것.

제안 방법

• 병렬 계산을 가능하게 하기 위해 데이터를 겹치지 않는 독립적인 하위군으로 분할한다.
• 표준 베이지안 방법을 사용해 각 하위군에 대해 독립적으로 사후분포를 계산한다.
• 계산 가능한 거리의 가족을 사용해 확률측도 공간에서 부분집합 사후측도의 중앙값을 계산한다.
• 중앙값 계산에 사용되는 거리는 실무에서 효율적으로 평가될 수 있도록 선택되어, 확장성을 보장한다.
• 최종 통합 사후분포는 모든 부분집합 사후분포와의 거리 합을 최소화하는 측도로 유도된다.
• 확률측도 공간의 기하학적 성질을 활용해 극단적 또는 손상된 데이터 포인트에 대해 강건성을 확보한다.

실험 결과

연구 질문

• RQ1 베이지안 추론 방법이 이상치에 강건하면서도 계산적으로 확장 가능한가?
• RQ2 사후분포의 중앙값 조합 전략은 기존의 조합 방법에 비해 강건성과 정확도 측면에서 어떻게 비교되는가?
• RQ3 제안된 방법의 일치성과 강건성에 대해 어떤 이론적 보장을 제공할 수 있는가?
• RQ4 유용한 거리 측도를 사용해 실무에서 확률측도의 중앙값을 얼마나 효율적으로 계산할 수 있는가?
• RQ5 이상치나 모형 불일치가 존재할 때도 방법이 양호한 빈도주의 성질을 유지하는가?

주요 결과

• 이중값을 사용한 확률측도 공간에서의 중앙값 조합은 평균 기반 조합보다 극단적 값에 덜 민감하므로, 이상치에 강건한 성질을 확보한다.
• 데이터 분할과 부분집합 사후분포의 병렬 계산 덕분에 계산상의 이점이 나타난다.
• 이론적 분석은 중앙값 기반 조합이 약한 정규성 조건 하에서 일致한 사후추정을 도출함을 보여준다.
• 수치 실험을 통해 오염되거나 꼬리가 두꺼운 관측치를 포함한 데이터 세트에서 표준 베이지안 방법보다 성능이 향상됨을 확인했다.
• 효율적으로 계산 가능한 거리의 사용은 강건성을 포기하지 않고 대규모 데이터 세트에 대한 실용적 구현을 가능하게 한다.
• 데이터에 일부 이상치가 포함되어 있어도 좋은 빈도주의 커버리지 성질을 유지한다.