[論文レビュー] On Disentangled Representations Learned From Correlated Data

Frederik Träuble, Elliot Creager+6 more|arXiv (Cornell University)|Jun 14, 2020

Neural Networks and Applications参考文献 58被引用数 38

ひとこと要約

本論文は、最先端の教師なしディスタングルメント手法が相関する真の因子を分離できないことを検討し、潜在的なエンタングルメントを弱教師信号や後付け補正によって解消する方法を分析する。

ABSTRACT

The focus of disentanglement approaches has been on identifying independent factors of variation in data. However, the causal variables underlying real-world observations are often not statistically independent. In this work, we bridge the gap to real-world scenarios by analyzing the behavior of the most prominent disentanglement approaches on correlated data in a large-scale empirical study (including 4260 models). We show and quantify that systematically induced correlations in the dataset are being learned and reflected in the latent representations, which has implications for downstream applications of disentanglement such as fairness. We also demonstrate how to resolve these latent correlations, either using weak supervision during training or by post-hoc correcting a pre-trained model with a small number of labels.

研究の動機と目的

• トレーニングデータで真の因子が相関している場合に、現代のディスタングルメント学習器がどのように性能を発揮するか評価する。
• 誘導された相関が潜在表現にどのように反映され、フェアネスなどの下流タスクにどのように影響するかを定量化する。
• 弱教師付きまたは少数のラベルによる後付け整合で潜在的な相関を解消する手法を調査する。
• 相関の変化下でエンタングルされた表現の一般化とOOD挙動を評価する。

提案手法

• 制御された相関データセット（Shapes3D、dSprites、MPI3D）全体で、β-VAE、FactorVAE、AnnealedVAE、DIP-VAE、β-TCVAE を組み込んだ4260個のVAEベースモデルを訓練する。
• 因子間にガウスノイズと可変強度σを用いて対に相関を導入し、ディスタングルメントへの影響を研究する。
• 潜在空間解析（DCI、勾配ブースト木の特徴量重要度）を用いて相関因子のエンタングルメントを定量化する。
• ペアワイズMIベースの公平性指標を用いて下流の不公平さを評価する。
• 少数ラベルでの後付け高速適応をテストし、エンタングルされた潜在コードを真の因子へ整合させる。
• 弱教師付きAda-GVAE風アプローチを評価し、相関下でのディスタングルメントへの影響を検討する。

実験結果

リサーチクエスチョン

• RQ1 トレーニングデータに真の因子間の相関がある場合、教師なしディスタングルメントにおける因子分解に基づく帰納的バイアスは十分か。
• RQ2 トレーニングデータの相関は潜在エンタングルメントや公平性関連の測定にどのように影響するか。
• RQ3 エンタングルメントした潜在空間は最小限の監督や後付け修正で解消できるか。
• RQ4 相関のあるデータで学習したモデルは分布外の因子組み合わせに一般化するか。
• RQ5 現実的な戦略（弱い監督、後付整合）は相関下でのディスタングルメントをどのように改善するか。

主な発見

• ディスタングルメント手法は相関した因子を分離できず、潜在次元は主要な相関線と直交する補助軸方向にエンタングルされる。
• より強い相関（より低いσ）は、潜在空間における相関 FoV 同士のペアワイズエンタングルメントを高める。
• 教師なしディスタングルメントは、保護属性が別のFoVと相関する場合に不公平さが増大し、相関が強くなると悪化する。
• エンタングルメントがあっても、潜在構造を外挿することでOODの組み合わせに一般化でき、デコーダは未見の因子対に対して意味のある再構成を生成する。
• 弱教師付きや少数ラベルの後付整合により因子化された潜在コードを回復し、ほぼ完璧なディスタングルメントと不公平の低減を達成する。
• Shapes3Dにおける相関下で、100ラベル程度の高速適応でペアワイズエンタングルを大幅に低減できる。
• 弱教師付きは、検証データセット全体でディスタングルメントと公平性の点で教師なしベースラインを上回る。