[論文レビュー] Bias Correction of Learned Generative Models using Likelihood-Free Importance Weighting

Aditya Grover, Jiaming Song+5 more|arXiv (Cornell University)|Jun 23, 2019

Generative Adversarial Networks and Image Synthesis参考文献 62被引用数 47

ひとこと要約

要約: 本論文は、学習済み生成モデルからの期待値のバイアスを低減するために、密度比を推定する確率分類器を訓練して尤度無関係の重要性重み付け（LFIW）を導入し、バイアス関連の指標を改善するとともにデータ拡張やモデルベースのオフポリシー評価などの応用を支援します。

ABSTRACT

A learned generative model often produces biased statistics relative to the underlying data distribution. A standard technique to correct this bias is importance sampling, where samples from the model are weighted by the likelihood ratio under model and true distributions. When the likelihood ratio is unknown, it can be estimated by training a probabilistic classifier to distinguish samples from the two distributions. We employ this likelihood-free importance weighting method to correct for the bias in generative models. We find that this technique consistently improves standard goodness-of-fit metrics for evaluating the sample quality of state-of-the-art deep generative models, suggesting reduced bias. Finally, we demonstrate its utility on representative applications in a) data augmentation for classification using generative adversarial networks, and b) model-based policy evaluation using off-policy data.

研究の動機と目的

• 学習済み生成モデルから計算される期待値のバイアスを動機づけ formalize する。
• モンテカルロ推定をデバイズするための likelihood-free importance weighting (LFIW) フレームワークを提案する。
• 重みを安定化させる実用的な変種（自己正規化、フラット化、クリッピング）を開発する。
• 適合度指標と下流タスク（データ拡張、MBOPE）での改善を実証する。
• 誘導された重み付き分布がデータ分布への適合を実際に改善する条件を理論的に提供する。

提案手法

• p_theta が p_data と異なる場合のモンテカルロ期待値のバイアスを定式化し、密度比を二値分類器によって推定する LFIW を提案する。
• p_theta と p_data からのサンプルを識別する校正済みの確率分類器を訓練し、その出力を用いて重み w_phi(x) = gamma * c_phi(x) / (1 - c_phi(x)) を計算する。
• 推定された重みを用いた期待値の有 bias から unbiased への推定量を定義し、自己正規化、重みのフラット化、クリッピングといった変種を適用する。
• p_theta(x) に対して重み付き再サンプリングに比例した生成モデル p_{theta,phi} を構築し、Sampling-Importance-Resampling (SIR) によるサンプリングを実装する。
• p_theta から p_{theta,phi} への改善条件をKL発散に基づいて導出し、実務上の推定と分散の考慮点を議論する。
• 三つの設定に適用する：CIFAR-10 モデル（PixelCNN++, SNGAN）の適合度、Omniglot の多クラス分類のデータ拡張、MuJoCo のモデルベースのオフポリシー評価。

実験結果

リサーチクエスチョン

• RQ1 学習済み生成モデルから導出された期待値のバイアスを LFIW は減らせるか。
• RQ2 標準的な生成モデル評価指標とデータ拡張・オフポリシー評価の下流タスクにおける LFIW の性能はどうか。
• RQ3 実世界のモデルで LFIW を最も安定化させる実用的な変種（自己正規化、フラット化、クリッピング）はどれか。
• RQ4 誘導された重み付き分布がデータ分布への適合を実際に改善する条件は何か。
• RQ5 難しい設定でデバイス済み推定は真の（未知の）モデル性能にどれだけ近づくか。

主な発見

• LFIW は CIFAR-10（PixelCNN++ および SNGAN）の最先端深層生成モデルに対する適合度指標のバイアスを一貫して削減し、バイアス補正指標の substantial な改善を示す。
• LFIW によるデータ拡張は Omniglot の多クラス分類精度を 66.03% から 68.18% に改善し、生成データ点の重みによって向上。
• MuJoCo タスクのモデルベースのオフポリシー評価では、LFIW は価値推定の RMSE を低減し、ホライズンが長くなるほどポリシー評価がより正確になる。
• 自己正規化型 LFIW は全実験を通じて一般に最良の経験的性能を示し、バイアス低減と分散制御のバランスを取る。
• 本手法は生成モデルの周りに柔軟なブラックボックス・ラッパーとして機能し、下流推論を改善するが、バイアスを完全には除去しないため、強力な分類器と十分なデータの重要性を強調する。