[論文レビュー] Is Independence all you need? On the Generalization of Representations Learned from Correlated Data

Frederik Träuble, Elliot Creager+5 more|arXiv (Cornell University)|Jun 14, 2020

Machine Learning and Data Classification被引用数 9

ひとこと要約

本稿では、データに相関する変動要因が含まれる状況下でのディスエンタングルメント手法の一般化性能を調査し、潜在表現がディスエンタングルメントスコアが検出できないにもかかわらず、これらの相関を学習していることが明らかになった。著者らは、因果的に妥当な弱い監視を用いて、潜在相関を効果的にディスエンタングルする手法を提案し、頑健な一般化のためには独立した要因ではなく独立したメカニズムを学習することが重要であることを示している。

ABSTRACT

Despite impressive progress in the last decade, it still remains an open challenge to build models that generalize well across multiple tasks and datasets. One path to achieve this is to learn meaningful and compact representations, in which different semantic aspects of data are structurally disentangled. The focus of disentanglement approaches has been on separating independent factors of variation despite the fact that real-world observations are often not structured into meaningful independent causal variables to begin with. In this work we bridge the gap to real-world scenarios by analyzing the behavior of most prominent methods and disentanglement scores on correlated data in a large scale empirical study (including 3900 models). We show that systematically induced correlations in the dataset are being learned and reflected in the latent representations, while widely used disentanglement scores fall short of capturing these latent correlations. Finally, we demonstrate how to disentangle these latent correlations using weak supervision, even if we constrain this supervision to be causally plausible. Our results thus support the argument to learn independent mechanisms rather than independent factors of variations.

研究の動機と目的

• 相関する要因の変動を含むデータにおけるディスエンタングルメント手法の性能を調査すること。
• 広く用いられているディスエンタングルメントスコアが、学習済み表現に存在する潜在相関を正確に反映しているかどうかを評価すること。
• 完全な要因の独立性を要件としない条件下で、因果的に妥当な弱い監視が潜在相関を効果的にディスエンタングルできるかを検討すること。
• ディスエンタングルメントが独立した要因の変動を標的とすべきという仮定に挑戦し、代わりに独立したメカニズムを学習することが望ましいと提唱すること。

提案手法

• 3,900のモデルを対象とした大規模な実験的調査を実施し、系統的に相関を導入したデータセット上で最先端のディスエンタングルメント手法の挙動を分析した。
• 表現の評価にディスエンタングルメントスコアを用いたが、データ構造に起因する潜在相関を検出するのに不十分であることが判明した。
• データ生成プロセスと整合する因果的に妥当な弱い監視を導入し、潜在相関のディスエンタングルを支援する。
• 弱い監視を用いて潜在表現を精緻化し、真の要因が相関していても、それらの相関を解体した表現を得られるようにした。
• タスク間でのディスエンタングルメント品質と一般化性能の向上を測定することで、手法の有効性を評価した。

実験結果

リサーチクエスチョン

• RQ1 訓練データに相関する変動要因が存在する場合、ディスエンタングルメント手法はどのように性能を発揮するか？
• RQ2 標準的なディスエンタングルメントスコアは、学習済み表現に存在する潜在相関をどの程度検出できるか？
• RQ3 因果的に妥当な弱い監視は、表現内の潜在相関を効果的にディスエンタングルできるか？
• RQ4 独立した要因ではなく独立したメカニズムを学習することで、現実世界のデータにおいてより良い一般化が達成できるか？

主な発見

• 最先端のディスエンタングルメント手法が学習する潜在表現は、訓練データに存在する相関を体系的に反映している。
• 標準的なディスエンタングルメントスコアは、これらの潜在相関を検出できず、ディスエンタングルメント品質の過剰評価を引き起こしている。
• 因果的に妥当な弱い監視は、根本的な要因が相関していても、潜在相関を効果的にディスエンタングルできる。
• 結果から、独立した要因の変動を標的とすることから、独立したメカニズムを学習することへのシフトが、一般化の向上に寄与することが支持された。
• 標準的な評価指標に依存する場合、相関のあるデータではディスエンタングルメント性能が著しく低下することが明らかになった。