[論文レビュー] Failure Modes of Variational Autoencoders and Their Effects on Downstream Tasks

Yaniv Yacoby, Weiwei Pan+1 more|arXiv (Cornell University)|Jul 14, 2020

Adversarial Robustness in Machine Learning被引用数 6

ひとこと要約

この論文は、ELBO目的関数の内在的トレードオフに起因する、後方分布の崩壊や誤ったノイズ/潜在次元の推定といった病理的行動を示す、平均場ガウス型VAE（MFG-VAE）におけるグローバル最適解を特定する。これらの失敗は、分離表現学習、敵対的ロバストネス、半教師あり学習といった下流タスクの性能を低下させることを示し、合成ベンチマークと実用的ガイドラインを提案して、これらの問題を検出・回避する手助けをする。

ABSTRACT

Variational Auto-encoders (VAEs) are deep generative latent variable models that are widely used for a number of downstream tasks. While it has been demonstrated that VAE training can suffer from a number of pathologies, existing literature lacks characterizations of exactly when these pathologies occur and how they impact downstream task performance. In this paper, we concretely characterize conditions under which VAE training exhibits pathologies and connect these failure modes to undesirable effects on specific downstream tasks, such as learning compressed and disentangled representations, adversarial robustness, and semi-supervised learning.

研究の動機と目的

• MFG-VAEがELBO目的関数のもとで最適であるにもかかわらず、グローバルに失敗する正確な条件を同定すること。
• これらの失敗モードが、分離表現学習、敵対的ロバストネス、半教師あり学習といった重要な下流タスクに与える悪影響を明確にすること。
• より豊かな変分族は、教師なし学習の性能を向上させるが、半教師あり設定において新たな病理を引き起こす可能性があることを示すこと。
• 既知の病理を引き起こす合成データセットを構築し、将来のVAE推論手法のテストに用いること。
• 実世界の応用においてMFG-VAEの失敗モードを回避するための、実証的かつ形式的根拠に基づいた実用的ガイドラインを提供すること。

提案手法

• ELBO目的関数下で、誤ったノイズ分散推定と誤った潜在次元数推定という2つの主要な病理を引き起こす合成データセットを提案する。
• ELBOを訓練目的関数として用い、そのグローバル最適解を分析することで、情報のないまたは誤った生成モデルに対応する場合を同定する。
• 再構成誤差の統計的検定を用いて多様体の誤推定を検出する——非ガウス分布の誤差は真のデータ多様体を捉えていないことを示す。
• MFG-VAEとより洗練された変分族（例：ノーマライジングフロー）を用いて合成データ上で下流タスクの性能を評価し、失敗モードを比較する。
• 偏りのない低分散の対数尤度推定器を用いてノイズ分散を選択し、モデルパラメータとの偏った同時最適化を回避する。
• トポロジカルデータ解析と次元数推定を事前処理として導入し、変分族選択を支援する。

実験結果

リサーチクエスチョン

• RQ1 MFG-VAEの目的関数のグローバル最適解が、ELBOのもとで最適であるにもかかわらず、病理的かつ情報のない生成モデルを生じる条件は何か？
• RQ2 誤ったノイズ分散や潜在次元数推定といったこれらの病理が、分離表現学習や半教師あり学習といった下流タスクにどのように影響を与えるか？
• RQ3 より豊かな変分族は、教師なし学習における病理を緩和するが、半教師あり学習では新たな問題を引き起こす程度はどの程度か？
• RQ4 合成データセットを構築して、これらの失敗モードを確実に引き起こし、新しいVAE手法のベンチマークに用いることは可能か？
• RQ5 実務家が過度な計算コストを負担せずにこれらの失敗モードを回避するための実用的ガイドラインをどのように導出できるか？

主な発見

• MFG-VAEの目的関数には、グローバルに最適な解であっても病理的かつ情報のないものがあり、推論モデルが生成モデルを過剰に正則化することがある。
• ELBOは、これらの量が目的関数のもとでグローバルに最適であっても、出力ノイズ分散と潜在次元数の推定に偏りを生じさせる。
• ノイズ分散と潜在次元数の病理を引き起こす合成データセットを成功裏に構築し、VAE手法の体系的テストを可能にした。
• 半教師あり学習において、MFG-VAEは「機能的崩壊」を示す——すべてのデータ条件付き分布が同じ分布に収束する——これは誤った潜在空間推定に起因する。
• より洗練された変分族は教師なし学習における病理を緩和するが、半教師ありタスクでは一般化性能の低下や不安定性といった新たな失敗モードを引き起こす。
• ドメイン知識や偏りのない推定器によるノイズ分散の選択、モデル選択前のトポロジカル解析といった実用的ガイドラインは、失敗のリスクを顕著に低減する。