[論文レビュー] Icebreaker: Element-wise Active Information Acquisition with Bayesian Deep Latent Gaussian Model

Wenbo Gong, Sebastian Tschiatschek+4 more|arXiv (Cornell University)|Aug 13, 2019

Machine Learning in Healthcare参考文献 49被引用数 8

ひとこと要約

Icebreakerは、特徴量の収集にコストがかかる低データ環境における機械学習モデルの起動問題（アイススタート問題）を解決するため、部分的アモルタイズド推論を用いたベイジアン深層潜在ガウスモデル（BELGAM）を提案する。エピステミック不確実性を定量化することで、要素単位の能動的訓練データ収集が可能となり、最小限のデータで、ベンチマークおよび実世界の医療・レコメンデーションタスクにおいて、VAEベースのベースラインを著しく上回る性能を発揮する。

ABSTRACT

In this paper we introduce the ice-start problem, i.e., the challenge of deploying machine learning models when only little or no training data is initially available, and acquiring each feature element of data is associated with costs. This setting is representative for the real-world machine learning applications. For instance, in the health-care domain, when training an AI system for predicting patient metrics from lab tests, obtaining every single measurement comes with a high cost. Active learning, where only the label is associated with a cost does not apply to such problem, because performing all possible lab tests to acquire a new training datum would be costly, as well as unnecessary due to redundancy. We propose Icebreaker, a principled framework to approach the ice-start problem. Icebreaker uses a full Bayesian Deep Latent Gaussian Model (BELGAM) with a novel inference method. Our proposed method combines recent advances in amortized inference and stochastic gradient MCMC to enable fast and accurate posterior inference. By utilizing BELGAM's ability to fully quantify model uncertainty, we also propose two information acquisition functions for imputation and active prediction problems. We demonstrate that BELGAM performs significantly better than the previous VAE (Variational autoencoder) based models, when the data set size is small, using both machine learning benchmarks and real-world recommender systems and health-care applications. Moreover, based on BELGAM, Icebreaker further improves the performance and demonstrate the ability to use minimum amount of the training data to obtain the highest test time performance.

研究の動機と目的

• 特徴量収集にコストがかかるが、初期データが乏しい現実世界の機械学習におけるアイススタート問題に対処すること。
• スケーラブルで不確実性を考慮したモデルを構築し、エピステミック不確実性を定量化することで、訓練中における情報量の多い特徴量要素の能動的選択を可能とすること。
• 訓練時における能動的データ収集とテスト時における能動的予測を両立する統合フレームワークを設計すること。
• 新患者の医療診断やレコメンデーションシステムにおける新規ユーザーなど、冷媒状態における有効な補完と能動的予測を可能とすること。
• ラベルのクエリのみを対象とするか、テスト入力が完全に観測されていると仮定する既存の能動学習手法の限界を克服すること。

提案手法

• ニューラルネットワークの重みを確率的変数として扱うことでモデル不確実性を捉える、完全ベイジアン深層潜在ガウスモデル（BELGAM）を提案する。
• 局所的潜在変数に対してアモルタイズド推論を、グローバルパラメータに対しては確率的勾配ハミルトニアンモンテカルロ（SGHMC）を組み合わせた、新規な部分的アモルタイズド推論手法（PA-BELGAM）を開発する。
• PA-BELGAMの事後分布における不確実性を活用し、補完と能動的予測の2つのタスクに特化した情報収集関数を設計する。
• 予測分散と期待情報量の増加に基づく情報理論的収集関数を用い、情報量の多い特徴量要素を優先する。
• 高次元かつ非共役な事後分布に対しても正確な事後分布近似が可能なように、確率的勾配MCMCを用いてモデルを学習する。
• 生成モデルと判別的予測タスクの両方へフレームワークを統合し、最小限のデータからエンドツーエンドの能動的学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 低データ環境下において、深層潜在モデルのエピステミック不確実性を効果的に定量化し、能動的特徴量収集を支援する方法は何か？
• RQ2 スケーラブルな事後推論を備えたベイジアン深層潜在モデルは、訓練データが乏しい状況でも、標準的なVAEベースのモデルを上回る性能を発揮できるか？
• RQ3 訓練中にも、テスト時のみではなく、情報量の多い特徴量要素を優先する収集関数をどのように設計できるか？
• RQ4 訓練時の能動的データ収集は、補完および予測タスクにおけるテスト時性能を達成するために必要なデータ量をどの程度削減できるか？
• RQ5 提案されたフレームワークは、医療やレコメンデーションシステムなどの多様な実世界応用分野において、アイススタート条件下で一般化可能か？

主な発見

• PA-BELGAMは、特に低データ環境下において、標準的なVAEベースのモデルよりも顕著に高い事後推論精度を達成する。
• Icebreakerは、MNIST や Fashion-MNIST といった標準的な機械学習ベンチマークにおいて、複数の強力なベースラインを上回り、はるかに少ない訓練データポイントで性能を発揮する。
• 実世界の医療応用において、Icebreakerは、ベースライン手法と比較して30〜50％のラボ検査の収集数削減で、より高い診断予測精度を達成した。
• レコメンデーションシステムの冷媒状態において、Icebreakerは、最小限のユーザー評価データで、推薦品質の向上を示した。
• モデルの不確実性に基づく提案された収集関数は、冗長な測定を削減しながらも、予測性能を維持または向上させる、より効率的なデータ収集を実現した。
• Icebreakerは、訓練時の能動的データ収集とテスト時の能動的予測の両方を成功裏に実現し、従来の手法が片方のフェーズにのみ焦点を当てていたという限界を克服した。