[論文レビュー] Flow Models for Arbitrary Conditional Likelihoods

Yang Li, Shoaib Akbar+1 more|arXiv (Cornell University)|Sep 13, 2019

Simulation Techniques and Applications参考文献 36被引用数 8

ひとこと要約

この論文では、任意の特徴量サブセットの条件付き尤度推定を、観測された共変数に対して正確に可能にする、新しい正規化フロー枠組みであるACFlowを紹介する。条件付き可逆変換と自己回帰的尤度モデリングを組み合わせることで、合成および実世界のデータセットにおいて、任意の条件付き分布、周辺分布、および単一・複数の補完（imputation）の分野で最先端の性能を達成する。

ABSTRACT

Understanding the dependencies among features of a dataset is at the core of most unsupervised learning tasks. However, a majority of generative modeling approaches are focused solely on the joint distribution $p(x)$ and utilize models where it is intractable to obtain the conditional distribution of some arbitrary subset of features $x_u$ given the rest of the observed covariates $x_o$: $p(x_u \mid x_o)$. Traditional conditional approaches provide a model for a fixed set of covariates conditioned on another fixed set of observed covariates. Instead, in this work we develop a model that is capable of yielding all conditional distributions $p(x_u \mid x_o)$ (for arbitrary $x_u$) via tractable conditional likelihoods. We propose a novel extension of (change of variables based) flow generative models, arbitrary conditioning flow models (AC-Flow), that can be conditioned on arbitrary subsets of observed covariates, which was previously infeasible. We apply AC-Flow to the imputation of features, and also develop a unified platform for both multiple and single imputation by introducing an auxiliary objective that provides a principled single "best guess" for flow models. Extensive empirical evaluations show that our models achieve state-of-the-art performance in both single and multiple imputation across image inpainting and feature imputation in synthetic and real-world datasets. Code is available at https://github.com/lupalab/ACFlow.

研究の動機と目的

• 既存のフロー・モデルが、観測された共変数 $x_o$ に対して、任意の未観測特徴量サブセット $x_u$ の条件付き分布 $p(x_u \mid x_o)$ を効率的に計算できないという制限を解消すること。
• 単一のフレームワーク内で、結合分布、任意の条件付き分布、および任意の周辺分布をモデリングできる統合的生成モデルの開発。
• 平均が解析的に求められない場合に「最良の推定値」を生成するための新しい補助目的関数を用いて、原理的かつ確率論的な枠組みで単一および複数の補完を可能にすること。
• モデルスケーリングが指数関数的に増加することなく、観測および未観測特徴量の両方の任意の次元を扱えるようにフローに基づくモデルを拡張すること。

提案手法

• 任意の特徴量サブセットで動作する条件付き可逆変換を導入し、任意の $x_u$ および $x_o$ に対して $p(x_u \mid x_o)$ の正確な計算を可能にする。
• 条件付き自己回帰的尤度アプローチを採用することで、条件付き分布のモデリングの柔軟性と表現力が向上する。
• 解析的平均が得られない場合に単一の「最良の推定値」を生成するための新しい補助ペナルティ損失を提案し、点推定性能が向上する。
• 周辺分布を空集合 $p(x_u \mid \emptyset)$ に対する条件付き分布とみなすことにより、任意の周辺化をサポートするフレームワークを拡張する。
• 推論中に、バイナリマスク $b$ を用いて観測特徴量（$x_o = x[b]$）と未観測特徴量（$x_u = x[1-b]$）のサブセットを動的に選択する。
• ガウス基底分布を用いた最大対数尤度推定と、条件付きおよび補完タスクの評価にサンプリングベースのアプローチを採用する。

実験結果

リサーチクエスチョン

• RQ1 任意の特徴量サブセット $x_u$ に対して、任意の観測サブセット $x_o$ が与えられたとき、単一の正規化フロー・モデルが $p(x_u \mid x_o)$ の正確な条件付き尤度を計算できるか？
• RQ2 モデルは、アーキテクチャの再トレーニングなしに、結合分布モデリングと任意の周辺化の両方のタスクに一般化できるか？
• RQ3 提案された「最良の推定値」補助ペナルティは、点推定性能を向上させるが、サンプルの多様性を損なわないか？
• RQ4 多様なデータセットにおいて、ACFlowは従来のモデルと比較して、条件付き尤度および補完品質の両面で優れているか？

主な発見

• ACFlowは、ベンチマークデータセットにおいて、任意の条件付き尤度をモデリングする分野で最先端の性能を達成し、尤度と補完品質の両面で先行手法を上回る。
• MNIST、Omniglot、CelebA データセットにおいて、ACFlow+BGはそれぞれPSNRスコア20.828、18.838、25.723を達成し、VAEACを顕著に上回る。
• ACFlowのPRDスコアは、再現率（0.984–0.988）と精度（0.945–0.970）が高く、真のデータ分布のカバレッジと忠実度が優れていることを示している。
• 補助的な「最良の推定値」ペナルティにより、PSNRが最大3.5ポイント向上し、PRDは劣化せず、点推定性能の向上がサンプルの多様性を損なわないことが確認された。
• 特徴量補完の分野では、ACFlow+BGは特に高い欠損率下でも最先端のNRMSEスコアを達成し、欠損データパターンに対して強い耐性を示している。
• 定性的な結果では、ACFlowは高い欠損率下でもシャープで多様性に富み、詳細なインpaint（穴埋め）を生成できており、視覚的品質および詳細回復の面でVAEACを上回っている。