[논문 리뷰] Robust Probabilistic Modeling with Bayesian Data Reweighting

Zhaoran Wang, Alp Kucukelbir외 1명|arXiv (Cornell University)|2016. 06. 13.

Bayesian Modeling and Causal Inference인용 수 6

한 줄 요약

이 논문은 관측치별 가중치를 학습하여 이상치 또는 부적합한 데이터 포인트를 낮게 평가함으로써 확률적 모델의 정 robust화를 위한 베이지안 데이터 재가중(Bayesian Data Reweighting, BDR)을 제안한다. 각 가능도 항을 잠재 가중치로 승진시켜 가중치와 모델 파라미터를 함께 추론함으로써, 모델의 잘못된 특정화 상황에서도 추론과 예측 성능을 향상시킨다. 이는 포isson 인수분해를 사용한 Movielens 1M 데이터셋에서 입증되었다.

ABSTRACT

Probabilistic models analyze data by relying on a set of assumptions. Data that exhibit deviations from these assumptions can undermine inference and prediction quality. Robust models offer protection against mismatch between a model's assumptions and reality. We propose a way to systematically detect and mitigate mismatch of a large class of probabilistic models. The idea is to raise the likelihood of each observation to a weight and then to infer both the latent variables and the weights from data. Inferring the weights allows a model to identify observations that match its assumptions and down-weight others. This enables robust inference and improves predictive accuracy. We study four different forms of mismatch with reality, ranging from missing latent groups to structure misspecification. A Poisson factorization analysis of the Movielens 1M dataset shows the benefits of this approach in a practical scenario.

연구 동기 및 목표

• 모델 가정에서 벗어난 데이터로 인해 추론과 예측 성능이 떨어지는 확률적 모델링 문제를 다루기 위해.
• 모델 구조를 재설계하지 않고도 모델 가정을 위반하는 데이터를 탐지하고 완화할 수 있는 일반 목적의 방법을 개발하기 위해.
• 기존의 정규화 방법이 실패하는 고차원적이고 복잡한 확률적 모델에서 정 robust한 추론을 가능하게 하기 위해.
• 사후 추론 과정에서 손상되거나 이질적인 관측치를 체계적이고 확장 가능한 방식으로 식별하고 낮게 평가하는 접근법을 제공하기 위해.

제안 방법

• 각 관측치의 가능도를 잠재 가중치 $ w_n $ 로 승진시킨 재가중 확률적 모델(Rewritten Probabilistic Model, RPM)을 제안한다.
• 잠재 변수 $ \beta $ 와 가중치 $ w $ 에 대한 공동 사후분포를 정의하며, 가중치가 1에 가까이 유지되도록 하는 사전분포 $ p_w(w) $ 를 설정한다.
• 사후분포의 로그 형태인 $ \log p(\beta, w|y) \propto \log p_\beta(\beta) + \log p_w(w) + \sum_n w_n \log \ell(y_n|\beta) $ 를 통해 추론을 이끌어내기 위한 기반을 마련한다.
• 변분 추론 또는 MCMC를 사용하여 $ \beta $ 와 $ w $ 에 대한 공동 사후 추론을 수행함으로써, 가능도가 낮은 관측치를 식별하고 낮게 평가할 수 있도록 한다.
• 가중치에 대한 사전분포를 활용하여 $ w_n = 1 $ 에서의 극단적 이탈을 방지함으로써, 오직 매우 불가능한 관측치만이 낮게 평가되도록 보장한다.
• 결측된 잠재 그룹이나 구조적 잘못된 특정화와 같은 다양한 유형의 모델 잘못된 특정화에 이 방법을 적용한다.

실험 결과

연구 질문

• RQ1 모델의 구조를 재설계하지 않고도 일반 목적의 방법이 모델 가정을 위반하는 데이터 포인트를 탐지하고 완화할 수 있는가?
• RQ2 이상치나 오염된 데이터를 포함한 상황에서 베이지안 데이터 재가중이 예측 정확도를 얼마나 향상시키는가?
• RQ3 고차원적 확률적 모델에서 잠재 가중치가 얼마나 잘 부적합한 관측치를 식별하고 낮게 평가하는가?
• RQ4 가중치에 대한 사전분포의 선택이 정 robust성과 추론 품질에 어떤 영향을 미치는가?
• RQ5 이 방법은 이상 사용자 행동이 존재하는 추천 시스템과 같은 복잡한 구조를 가진 실세계 데이터셋에 적용 가능한가?

주요 결과

• 베이지안 데이터 재가중은 어린이 계정이 공포 영화를 시청하는 등 손상된 관측치를 성공적으로 식별하고 낮게 평가함으로써 모델의 정 robust성을 향상시켰다.
• Movielens 1M 데이터셋에서, BDR를 적용한 포isson 인수분해는 모델 잘못된 특정화 상황에서 표준 포isson 인수분해보다 더 뛰어난 예측 성능을 보였다.
• 가능도가 매우 낮은 관측치, 예를 들어 단일 모드 분포에서 1.5 근처의 관측치를 식별하고 낮게 평가함으로써 전체 적합도를 향상시켰다.
• 잠재 가중치 $ w_n $ 는 모델가 가정하는 생성 과정에서 벗어나는 데이터 포인트를 자동으로 식별하는 데 기여한다.
• 가중치에 대한 사전분포는 가중치가 과도하게 수축하는 것을 방지하여, 오직 진정으로 이질적인 관측치만이 낮게 평가되도록 보장하는 데 핵심적인 역할을 한다.
• 실험 결과, BDR는 결측된 그룹이나 구조적 오류를 포함한 다양한 유형의 모델 불일치 상황에서 모델 적합도와 예측 정확도를 향상시켰다.