[논문 리뷰] Bayesian Approaches to Distribution Regression

Ho Chung Leon Law, Danica J. Sutherland외 2명|arXiv (Cornell University)|2017. 05. 11.

Bayesian Methods and Mixture Models인용 수 17

한 줄 요약

이 논문은 군집 크기의 변동으로 인한 커널 평균 임베딩의 불확실성과 회귀 모델 파라미터의 불확실성을 모두 고려하는 베이지안 접근법을 제안한다. 신경망 기반 모델에 베이지안 추론을 통합함으로써, 특히 군집 크기가 불균형한 데이터에서 강건성과 예측 성능이 향상되며, IMDb-WIKI 데이터셋에서의 연령 추정 성능이 비베이지안 기준선보다 뛰어나다는 것이 입증되었다.

ABSTRACT

Distribution regression has recently attracted much interest as a generic solution to the problem of supervised learning where labels are available at the group level, rather than at the individual level. Current approaches, however, do not propagate the uncertainty in observations due to sampling variability in the groups. This effectively assumes that small and large groups are estimated equally well, and should have equal weight in the final regression. We account for this uncertainty with a Bayesian distribution regression formalism, improving the robustness and performance of the model when group sizes vary. We frame our models in a neural network style, allowing for simple MAP inference using backpropagation to learn the parameters, as well as MCMC-based inference which can fully propagate uncertainty. We demonstrate our approach on illustrative toy datasets, as well as on a challenging problem of predicting age from images.

연구 동기 및 목표

• 기존의 분포 회귀 방법이 군집 수준 관측치의 표본 변동성을 忽시하는 한계를 해결하기 위해.
• 입력 분포 임베딩과 회귀 파라미터 양쪽에서 발생하는 불확실성을 전파하는 베이지안 모델을 개발하기 위해.
• 예를 들어 유명인 이미지에서의 연령 추정과 같이 군집 크기가 매우 불균형한 상황에서의 예측 성능을 향상시키기 위해.
• 심층 특징 학습을 신경망 아키텍처를 통해 유연하게 구현하면서도 불확실성 정량화를 유지하기 위해.
• 실제로 어려운 데이터셋인 IMDb-WIKI와 같이 도전적인 실세계 데이터셋에서 불확실성 인식 모델의 효과성을 입증하기 위해.

제안 방법

• 논문은 입력 분포를 재생핵 힐버트 공간(RKHS) 내의 점으로 표현하기 위해 커널 평균 임베딩을 사용하여 비모수적 분포 표현을 가능하게 한다.
• 비모수적 사전분포를 사용해 커널 평균 임베딩 추정치의 불확실성을 고려하는 베이지안 평균 수축 모델을 도입하며, 동시에 회귀 함수에 대해 MAP 추정을 사용한다.
• 임베딩과 회귀 파라미터 양쪽에 불확실성을 통합한 완전한 베이지안 분포 회귀(BDR) 모델을 제안하며, 추론에 하미르톤 몬테카를로(HMC)를 사용한다.
• 입력 분포의 표현을 위한 표현력 있는 데이터 기반 표현을 학습하기 위해 신경망 아키텍처(예: 라디얼 기저 함수 네트워크)를 활용하여 백프로파게이션을 통한 엔드 투 엔드 학습을 가능하게 한다.
• 모델은 백프로파게이션을 통한 MAP 추론과 MCMC를 통한 전체 사후분포 추론을 모두 지원하여 추론 목표에 유연성을 제공한다.
• 초기 정지와 교차검증을 통해 하이퍼파rameter를 튜닝하며, 대규모 데이터셋에서의 효율적 추론을 위해 랜드마크 샘플링을 사용한다.

실험 결과

연구 질문

• RQ1 군집 크기가 변동할 때 커널 평균 임베딩의 불확실성을 고려함으로써 분포 회귀 성능이 어떻게 향상되는가?
• RQ2 입력 임베딩과 회귀 파라미터 양쪽을 모두 베이지안 모델링하면 점추정 기반 기준선보다 더 나은 일반화 성능을 달성할 수 있는가?
• RQ3 실세계의 불균형한 데이터셋인 IMDb-WIKI에서 연령 추정에 대해 불확실성 인식 모델링이 예측 성능을 얼마나 향상시키는가?
• RQ4 MAP, 수축, 전체 MCMC와 같은 다양한 베이지안 추론 전략은 강건성과 정확도 측면에서 어떻게 비교되는가?
• RQ5 신경망 기반 특징 학습은 분포 회귀에서 베이지안 불확실성 전파와 효과적으로 통합될 수 있는가?

주요 결과

• 베이지안 수축 모델은 IMDb-WIKI 연령 추정 작업에서 모든 10개 데이터 분할에서 다른 모든 방법보다 뛰어난 성능을 기록했다.
• 모델은 RMSE를 9.28 (0.20)로 줄였고, MAE는 3.54 (0.021)로 낮추어 비베이지안 수축 모델과 기준 CNN보다 뚜렷이 뛰어났다.
• 비록 비베이지안 수축 모델이 약간 더 낮은 RMSE를 보였지만, 베이지안 수축 모델은 모든 10개 데이터 분할에서 더 뛰어난 강건성과 일반화 능력을 보였다.
• 결과는 군집 수준의 임베딩에서의 불확실성 모델링이 분포 회귀에서 매우 불균형한 군집 크기를 다룰 때 필수적임을 입증한다.
• HMC 추론을 사용한 BDR 모델은 전체 사후 불확실성 전파를 제공하여, 프레임워크가 높은 변동성을 보이는 복잡한 실세계 데이터를 처리할 수 있음을 검증했다.
• 연구는 입력 표현과 모델 파라미터 양쪽에서의 불확실성 전파가 표준 점추정 접근법보다 더 신뢰할 수 있고 정확한 예측을 가능하게 한다는 것을 확인했다.