[論文レビュー] Disentanglement of Correlated Factors via Hausdorff Factorized Support

Karsten Roth, Mark Ibrahim+3 more|arXiv (Cornell University)|Oct 13, 2022

Generative Adversarial Networks and Image Synthesis被引用数 5

ひとこと要約

本稿では、生成要因の統計的独立性という現実的でない仮定を緩和し、対照的要因のサポートのみを因子化することを要請することで、より現実的な要因の相関に対しても頑健な脱同定を可能にする、Hausdorff因子化サポート（HFS）という新しい脱同定基準を提案する。予測された要因サポートと真の要因サポートの間のHausdorff距離を最小化することで、Shapes3D、MPI3D、DSpritesといったベンチマークにおいて、要因の相関が著しく変化する状況下でも、脱同定性能が平均60％以上向上する。

ABSTRACT

A grand goal in deep learning research is to learn representations capable of generalizing across distribution shifts. Disentanglement is one promising direction aimed at aligning a model's representation with the underlying factors generating the data (e.g. color or background). Existing disentanglement methods, however, rely on an often unrealistic assumption: that factors are statistically independent. In reality, factors (like object color and shape) are correlated. To address this limitation, we consider the use of a relaxed disentanglement criterion -- the Hausdorff Factorized Support (HFS) criterion -- that encourages only pairwise factorized \emph{support}, rather than a factorial distribution, by minimizing a Hausdorff distance. This allows for arbitrary distributions of the factors over their support, including correlations between them. We show that the use of HFS consistently facilitates disentanglement and recovery of ground-truth factors across a variety of correlation settings and benchmarks, even under severe training correlations and correlation shifts, with in parts over $+60\%$ in relative improvement over existing disentanglement methods. In addition, we find that leveraging HFS for representation learning can even facilitate transfer to downstream tasks such as classification under distribution shifts. We hope our original approach and positive empirical results inspire further progress on the open problem of robust generalization. Code available at https://github.com/facebookresearch/disentangling-correlated-factors.

研究の動機と目的

• 現実のデータでは不自然な統計的独立性を仮定する従来の脱同定手法の限界に対処すること。
• 生成要因間に任意の相関がある状況でも有効な脱同定基準を開発すること。
• 因子化されたサポートに注目することで、分布シフト下でも頑健な表現学習を可能にすること。
• 独立性の仮定を越えて一般化しつつも脱同定品質を維持できる、計算的に実行可能な手法を提供すること。
• 相関のある要因を含むベンチマークで、改善された脱同定性能および下流タスクへの転送性能を示すこと。

提案手法

• 潜在要因の経験的サポートと因子化された参照集合との間のHausdorff距離を最小化するHausdorff因子化サポート（HFS）基準を提案する。
• 完全な独立性の仮定を緩和し、対照的要因のサポートの因子化にのみ注目することで、サポート内での任意の同時分布を許容する。
• 対照的Hausdorff距離を用いて因子化サポートからの逸脱を測定し、オートエンコーダーに基づくモデルでの効率的な最適化を可能にする。
• エンコーダ・デコーダアーキテクチャのインダクティブバイアスを活用し、変分オートエンコーダー枠組み内でHFS目的関数を正則化項として適用する。
• バッチ単位の潜在変数ペairの組み合わせを用いたHausdorff距離の微分可能な近似を採用することで、エンド・ツー・エンドの学習を可能にする。
• 潜在変数ペアのサブサンプリング戦略を用いることで、計算コストを削減しながらも性能を維持する。

実験結果

リサーチクエスチョン

• RQ1 生成要因が相関している状況でも、統計的独立性を仮定せずに脱同定が達成可能か？
• RQ2 完全な因子化独立性ではなく、対照的因子化サポートに制限することで、より優れた脱同定が達成できるか？
• RQ3 HFS基準は、極端な相関シフトや共有の交絡要因が存在する状況下でも効果を発揮するか？
• RQ4 HFSは分布シフト下でも下流タスクの転送性能を向上させることができるか？
• RQ5 HFS基準は、要因の相関度合いが異なる多様なベンチマークにおいても頑健か？

主な発見

• HFSは、Shapes3D、MPI3D、DSpritesにおける強い相関設定下で、最先端手法と比較して脱同定性能が60％以上相対的に向上する。
• 本手法は、対照的、マルチペア、共有交絡要因の設定を含む、すべてのテストされた相関構成でベースラインを一貫して上回る。
• HFSは、物体の種別が他のすべての要因と交絡しているような、真の要因が著しく相関している状況でも、効果的な脱同定を可能にする。
• 本手法は、分布シフト下でも頑健な表現学習を促進し、下流分類タスクの精度を向上させる。
• HFSは、真の要因分布のサポート内での脱同定を維持することで、分布外シフトへの一般化性能が強く発揮される。
• 本手法は計算的に効率的かつスケーラブルであり、Hausdorff距離の微分可能な近似によりエンド・ツー・エンドの学習が可能である。