[論文レビュー] Bayesian Approaches to Distribution Regression

Ho Chung Leon Law, Danica J. Sutherland+2 more|arXiv (Cornell University)|May 11, 2017

Bayesian Methods and Mixture Models被引用数 17

ひとこと要約

本稿では、グループサイズのばらつきに起因するカーネル平均埋め込みの不確実性と回帰モデルパラメータの不確実性の両方を考慮するベイジアンアプローチを提案する。ニューラルネットワークベースのモデルにベイジアン推論を統合することで、特にグループサイズが不均衡なデータにおいて、耐障害性と予測性能が向上し、非ベイジアンベースラインと比較してIMDb-WIKIデータセットにおける年齢推定で優れた性能を示した。

ABSTRACT

Distribution regression has recently attracted much interest as a generic solution to the problem of supervised learning where labels are available at the group level, rather than at the individual level. Current approaches, however, do not propagate the uncertainty in observations due to sampling variability in the groups. This effectively assumes that small and large groups are estimated equally well, and should have equal weight in the final regression. We account for this uncertainty with a Bayesian distribution regression formalism, improving the robustness and performance of the model when group sizes vary. We frame our models in a neural network style, allowing for simple MAP inference using backpropagation to learn the parameters, as well as MCMC-based inference which can fully propagate uncertainty. We demonstrate our approach on illustrative toy datasets, as well as on a challenging problem of predicting age from images.

研究の動機と目的

• 既存の分布回帰手法がグループレベルの観測におけるサンプリング変動を無視するという限界を是正すること。
• 入力分布埋め込みと回帰パラメータの両方からの不確実性を伝搬するベイジアンモデルの開発。
• 例えば有名人の顔画像からの年齢推定のような、グループサイズが著しく不均衡な状況での予測性能の向上。
• 深層特徴学習をニューラルネットワークアーキテクチャを用いて柔軟に実現しつつ、不確実性の定量化を維持すること。
• IMDb-WIKIのような現実的で挑戦的なデータセットにおいて、不確実性に配慮したモデルの有効性を実証すること。

提案手法

• 本稿では、再帰的カーネルヒルバート空間（RKHS）における点としての分布表現を可能にするために、カーネル平均埋め込みを用いる。これにより、分布の非パラメトリック表現が可能になる。
• 非パラメトリック事前分布を用いてカーネル平均埋め込み推定値の不確実性を扱うベイジアン平均縮小モデルを導入し、回帰関数にはMAP推定を用いる。
• 埋め込みと回帰パラメータの両方における不確実性を組み合わせた完全ベイジアン分布回帰（BDR）モデルを提案し、推論にはハミルトニアンモンテカルロ（HMC）を用いる。
• 入力分布の表現的でデータ駆動型の特徴を学習するために、ニューラルネットワークアーキテクチャ（例：ラジアル基底関数ネットワーク）を用い、バックプロパゲーションを用いたエンドツーエンド学習を可能にする。
• 推論の目的に応じて、バックプロパゲーションによるMAP推定とMCMCによる完全事後分布推定の両方をサポートする。
• ハイパーパrameterは早期停止と交差検証により調整され、大規模データセットにおける効率的な推論のためのランドマークサンプリングが用いられる。

実験結果

リサーチクエスチョン

• RQ1 グループサイズの変動がある状況で、カーネル平均埋め込みにおける不確実性を考慮することで、分布回帰の性能がどのように向上するか？
• RQ2 入力埋め込みと回帰パラメータの両方をベイジアンモデル化することで、点推定ベースラインよりも優れた一般化性能が達成できるか？
• RQ3 実世界の不均衡なデータセット（例：IMDb-WIKI）における年齢推定において、不確実性に配慮したモデリングが予測性能をどの程度向上させるか？
• RQ4 MAP、縮小、完全MCMCといった異なるベイジアン推論戦略は、耐障害性と精度の観点でどのように比較されるか？
• RQ5 ニューラルネットワークベースの特徴学習は、分布回帰におけるベイジアン不確実性伝搬と効果的に組み合わせられるか？

主な発見

• ベイジアン縮小モデルは、IMDb-WIKI年齢推定タスクで、全10回のデータ分割において他のすべての手法を上回る最高の性能を達成した。
• RMSEは9.28（0.20）に低下し、MAEは3.54（0.021）にまで低下し、非ベイジアン縮小モデルおよびベースラインCNNを著しく上回った。
• 非ベイジアン縮小モデルはわずかに優れたRMSEを示したが、ベイジアン縮小モデルは全10回のデータ分割にわたり、より優れた耐障害性と一般化性能を示した。
• グループレベルの埋め込みにおける不確実性のモデリングが、分布回帰において極めて不均衡なグループサイズを扱う上で不可欠であることが実証された。
• HMC推論を用いたBDRモデルは、完全な事後分布不確実性伝搬を提供し、フレームワークが高い変動性を示す複雑な現実世界のデータを効果的に処理できることを検証した。
• 入力表現とモデルパラメータの両方における不確実性伝搬が、標準的な点推定アプローチよりも信頼性が高く、より正確な予測を可能にすることが確認された。