[논문 리뷰] Icebreaker: Element-wise Active Information Acquisition with Bayesian Deep Latent Gaussian Model

Wenbo Gong, Sebastian Tschiatschek외 4명|arXiv (Cornell University)|2019. 08. 13.

Machine Learning in Healthcare참고 문헌 49인용 수 8

한 줄 요약

Icebreaker는 각 특성 확보 비용이 높은 최소한의 초기 학습 데이터로 모델을 구동해야 하는 빙하 시작 문제를 해결하기 위해 부분 보상 추론을 통한 베이지안 딥 잠재 가우시안 모델(BELGAM)을 제안한다. 사전 지식에 대한 불확실성을 정량화함으로써 요소별로 주도적인 학습 데이터 확보가 가능하여, 최소한의 데이터로도 기준 모델보다 뛰어난 성능을 보이며, 보편적인 건강 및 추천 작업에서 뛰어난 성능을 발휘한다.

ABSTRACT

In this paper we introduce the ice-start problem, i.e., the challenge of deploying machine learning models when only little or no training data is initially available, and acquiring each feature element of data is associated with costs. This setting is representative for the real-world machine learning applications. For instance, in the health-care domain, when training an AI system for predicting patient metrics from lab tests, obtaining every single measurement comes with a high cost. Active learning, where only the label is associated with a cost does not apply to such problem, because performing all possible lab tests to acquire a new training datum would be costly, as well as unnecessary due to redundancy. We propose Icebreaker, a principled framework to approach the ice-start problem. Icebreaker uses a full Bayesian Deep Latent Gaussian Model (BELGAM) with a novel inference method. Our proposed method combines recent advances in amortized inference and stochastic gradient MCMC to enable fast and accurate posterior inference. By utilizing BELGAM's ability to fully quantify model uncertainty, we also propose two information acquisition functions for imputation and active prediction problems. We demonstrate that BELGAM performs significantly better than the previous VAE (Variational autoencoder) based models, when the data set size is small, using both machine learning benchmarks and real-world recommender systems and health-care applications. Moreover, based on BELGAM, Icebreaker further improves the performance and demonstrate the ability to use minimum amount of the training data to obtain the highest test time performance.

연구 동기 및 목표

• 학습 데이터 특성 확보 비용이 높고 초기 데이터가 부족한 현실 세계의 머신러닝에서 빙하 시작 문제를 해결한다.
• 확장 가능한 불확실성 인식 모델을 개발하여 사전 지식 불확실성을 정량화하여 학습 중에 정보가 많은 특성 요소를 주도적으로 선택할 수 있도록 한다.
• 학습 시 주도적 데이터 확보와 테스트 시 주도적 예측을 모두 지원하는 통합 프레임워크를 설계한다.
• 신환자 진료나 추천 시스템의 신규 사용자와 같은 냉각 시작 시나리오에서 효과적인 보간 및 주도적 예측을 가능하게 한다.
• 라벨만을 쿼리하거나 테스트 입력이 완전히 관측된다고 가정하는 기존 주도적 학습 방법의 한계를 극복한다.

제안 방법

• 신경망 가중치를 랜덤 변수로 간주하여 모델 불확실성을 포착하는 완전 베이지안 딥 잠재 가우시안 모델(BELGAM)을 제안한다.
• 지역 잠재 변수에 대한 보상 추론과 전역 매개변수에 대한 확률적 경량화 해밀턴 몬테카를로(SGHMC)를 조합한 새로운 부분 보상 추론 방법(PA-BELGAM)을 개발한다.
• PA-BELGAM의 사후 불확실성을 활용해 보간과 주도적 예측을 위한 두 가지 작업별 정보 확보 기능을 설계한다.
• 예측 분산과 기대 정보 이득에 기반한 정보 이론적 확보 기능을 활용해 정보가 많은 특성 요소를 우선순위에 따라 정렬한다.
• 고차원적이고 비공액 사후 분포일 경우에도 정확한 사후 근사가 가능한 확률적 경량화 마르코프 체인 몬테카를로(SG-MCMC)를 사용해 모델을 학습한다.
• 생성 모델링과 분류 예측 작업에 모두 프레임워크를 통합하여 최소한의 데이터로도 종단 간 주도적 학습이 가능하도록 한다.

실험 결과

연구 질문

• RQ1 낮은 데이터 환경에서 딥 잠재 모델의 사전 지식 불확실성을 효과적으로 정량화하여 주도적 특성 확보를 이끌 수 있는가?
• RQ2 확장 가능한 사후 추론을 갖춘 베이지안 딥 잠재 모델이 학습 데이터가 부족한 상황에서 표준 VAE 기반 모델보다 뛰어난 성능을 보일 수 있는가?
• RQ3 학습 중에 정보가 많은 특성 요소를 우선순위에 따라 정렬할 수 있는 확보 기능을 어떻게 설계할 수 있는가? (단지 테스트 시점이 아닌)
• RQ4 주도적 학습 시점 데이터 확보가 보간 및 예측 작업에서 높은 테스트 성능를 달성하기 위해 필요한 데이터 양을 얼마나 줄일 수 있는가?
• RQ5 제안된 프레임워크는 의료 및 추천 시스템 등 다양한 실세계 응용 분야에서 빙하 시작 조건 하에서도 일반화 가능한가?

주요 결과

• PA-BELGAM는 특히 낮은 데이터 환경에서 표준 VAE 기반 모델보다 훨씬 높은 사후 추론 정확도를 달성한다.
• Icebreaker는 MNIST 및 Fashion-MNIST와 같은 표준 기계학습 벤치마크에서 기존 강력한 기준 모델들을 압도적으로 능가하며, 훨씬 적은 학습 데이터 포인트로도 성능을 확보한다.
• 실세계 의료 응용에서 Icebreaker는 기준 방법 대비 30~50% 적은 혈액 검사 획득 수로도 더 높은 진단 예측 정확도를 달성했다.
• 추천 시스템의 냉각 시작 시나리오에서 Icebreaker는 최소한의 사용자 평점 데이터로도 보다 뛰어난 추천 품질을 확보했다.
• 모델 불확실성에 기반한 제안된 확보 기능은 더 효율적인 데이터 확보를 이끌었으며, 불필요한 측정을 줄이고 예측 성능을 유지하거나 향상시켰다.
• Icebreaker는 기존 방법이 한정된 단일 단계(학습 또는 테스트)에만 초점을 맞추는 데서 벗어나 주도적 학습 시점 데이터 확보와 테스트 시점 주도적 예측을 모두 성공적으로 구현했다.