[論文レビュー] Variational Learning on Aggregate Outputs with Gaussian Processes

Ho Chung Leon Law, Dino Sejdinović+5 more|arXiv (Cornell University)|May 22, 2018

Machine Learning and Data Classification被引用数 18

ひとこと要約

本稿では、集計出力を持つガウス過程モデルに対する変分ベイズ推論フレームワークを提案し、粗い粒度のラベルから学習する課題に、モデル証拠の妥当な下界を用いて対処する。本手法は100万件を超える大規模データセットで最先端の性能を達成し、ポisson分布に従う度数データを用いた細粒度のマラリア発生率マッピングにおいて、優れた不確実性評価とスケーラビリティを示している。

ABSTRACT

While a typical supervised learning framework assumes that the inputs and the outputs are measured at the same levels of granularity, many applications, including global mapping of disease, only have access to outputs at a much coarser level than that of the inputs. Aggregation of outputs makes generalization to new inputs much more difficult. We consider an approach to this problem based on variational learning with a model of output aggregation and Gaussian processes, where aggregation leads to intractability of the standard evidence lower bounds. We propose new bounds and tractable approximations, leading to improved prediction accuracy and scalability to large datasets, while explicitly taking uncertainty into account. We develop a framework which extends to several types of likelihoods, including the Poisson model for aggregated count data. We apply our framework to a challenging and important problem, the fine-scale spatial modelling of malaria incidence, with over 1 million observations.

研究の動機と目的

• 入力と出力の粒度が異なる、特に空間疫学やリモートセンシングで一般的な、入力の粒度よりも出力が粗い場合の教師あり学習の課題に取り組む。
• 指数分布族の尤度を用いた集計出力の統一的フレームワークの構築を目的とし、特にポアソン分布に従う度数データに焦点を当てる。
• 集計下でのガウス過程モデルにおけるスケーラブルで取り扱いやすい変分推論の実現を目的とし、標準的な証拠下界の不確実性を克服する。
• 予測における不確実性評価を明示的に組み込むことにより、公衆衛生意思決定において極めて重要な不確実性の評価を可能にする。
• 実世界の大規模データセット、特に100万件を超える観察数を含むマラリア発生率マッピングを用いた、本手法の有効性を示す。

提案手法

• 出力の集計を考慮した新たな変分下界を提案し、集計出力を有するガウス過程モデルにおける取り扱いやすい推論を可能にする。
• インダクティングポイントと潜在関数値の変分分布を用いた確率的変分推論アプローチを導入し、大規模データセットへのスケーラビリティを確保する。
• 潜在関数の事後分布を多変量正規分布として構造化された変分近似でモデル化し、勾配ベースの最適化により平均および分散パラメータを最適化する。
• 一般化された指数分布族の集計モデルを用いて、ガウス分布やポアソン分布を含む複数の尤度族への適応を可能にする。
• 勾配推定のための再パラメータライゼーショントリックを適用し、集計尤度に対してラプラシアン近似を用いてより良い取り扱いやすさを実現する。
• 入力ごとの長さスケールを学習できるARDカーネルを採用し、高次元入力空間におけるモデルの柔軟性と解釈可能性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 尤度が未観測の個別レベルのデータの周辺化によって不確実性となる場合に、集計出力を有するガウス過程モデルにおける変分推論が、取り扱いやすくスケーラブルにできるか。
• RQ2 標準的な証拠下界と比較して、本手法の変分下界は、集計データにおける予測精度と不確実性のキャリブレーションにおいて、どのように優れているか。
• RQ3 本手法は、100万件を超える大規模データセットにどの程度スケーリング可能か。予測性能と不確実性評価を維持したままか。
• RQ4 行政単位で集計されたデータを用いた実世界の空間的疾患マッピングタスク、特に細粒度のマラリア発生率予測において、本フレームワークはどの程度の性能を示すか。
• RQ5 不確実性のキャリブレーションを明示的に最適化する本手法の目的関数は、標準的なNLLベースの目的関数と比較して、より優れた不確実性推定をもたらすか。

主な発見

• スイスロールデータセットにおいて、VBAgg-Objモデルは、Nyströmおよびニューラルネットワークベースラインを統計的に有意に上回る、最良の個別NLLとMSEを達成した。
• エレベーター・データセットでは、VBAgg-ObjはNLL（-1.71）とMSE（0.0018）が、Nyström（NLL: -1.57, MSE: 0.0024）およびNN（NLL: -1.64, MSE: 0.0021）を下回り、ウィルコクソン符号順位検定のp値が0.001未満であった。
• 本手法は100万件を超える観察数のデータセットに対しても効果的にスケーリングでき、大規模な空間モデリングにおける実用的妥当性を示している。
• VBAgg-Objは不確実性推定において優れたキャリブレーションを示し、70–95%予測区間において絶対的カバレッジ誤差が0に近づくことがキャリブレーションプロットで確認された。
• 本フレームワークは、粗い地域レベルの症例数の集計データから細粒度のマラリア発生率を正確に予測し、明示的な不確実性評価を組み込むことに成功した。
• ガウス過程事前分布とポアソン尤度を組み合わせることで、空間疫学における度数データの強固なモデリングが可能となり、予測精度と不確実性キャリブレーションの両面で、既存手法を上回った。