[論文レビュー] Challenging Common Assumptions in the Unsupervised Learning of Disentangled Representations

Francesco Locatello, Stefan Bauer+5 more|arXiv (Cornell University)|Nov 29, 2018

Anomaly Detection Techniques and Applications被引用数 612

ひとこと要約

本論文は、教師なしのデセントラリゼーションには帰納的バイアスが必要であることを証明し、ハイパーパラメータとシードが結果を支配する大規模な実証研究を実施し、デセントラリゼーションから明確な下流のサンプル効率の利点が得られないことを示している。

ABSTRACT

The key idea behind the unsupervised learning of disentangled representations is that real-world data is generated by a few explanatory factors of variation which can be recovered by unsupervised learning algorithms. In this paper, we provide a sober look at recent progress in the field and challenge some common assumptions. We first theoretically show that the unsupervised learning of disentangled representations is fundamentally impossible without inductive biases on both the models and the data. Then, we train more than 12000 models covering most prominent methods and evaluation metrics in a reproducible large-scale experimental study on seven different data sets. We observe that while the different methods successfully enforce properties ``encouraged'' by the corresponding losses, well-disentangled models seemingly cannot be identified without supervision. Furthermore, increased disentanglement does not seem to lead to a decreased sample complexity of learning for downstream tasks. Our results suggest that future work on disentanglement learning should be explicit about the role of inductive biases and (implicit) supervision, investigate concrete benefits of enforcing disentanglement of the learned representations, and consider a reproducible experimental setup covering several data sets.

研究の動機と目的

• 理論的に、教師なしのデセントラリゼーションにはモデルとデータに対する帰納的バイアスが必要であることを確立する。
• 再現可能な設定で、6つのデセントラリゼーション手法と6つの指標を7つのデータセットに渡って経験的に評価する。
• デセントラリゼーションと下流タスクの性能向上およびサンプル効率の改善に相関があるかを評価する。

提案手法

• 因子化事前分布を用いる純粋な教師なしデセントラリゼーションに対する不可能性の結果を形式的に証明する。
• 最近の6つの教師なしデセントラリゼーション手法と6つの指標をゼロから実装する。
• 固定アーキテクチャと複数のランダムシードおよびハイパーパラメータで、7つのデータセットにわたって12,000モデル以上を訓練する。
• disentanglement_libを使用して表現を訓練・評価し、大規模で再現可能なベンチマークを提供する。
• 集約後部分布の因子化と平均表現の独立性との相関を分析する。
• デセントラリゼーションスコア、ハイパーパラメータ、シード、下流タスクの性能との関係を検討する。

実験結果

リサーチクエスチョン

• RQ1 モデルやデータに帰納的バイアスがない場合に、教師なしデセントラリゼーションは可能か？
• RQ2 現在の教師なし手法は、データセットや指標を問わず信頼性の高いデセントラリゼーション表現を生成するか？
• RQ3 ハイパーパラメータ、乱数シード、およびモデル選択がデセントラリゼーションスコアと下流タスクへの有用性にどのように影響するか？
• RQ4 デセントラライズ表現は、下流学習におけるサンプル効率に実際に有益なのか？

主な発見

• モデルとデータに帰納的バイアスがない場合、教師なしデセントラリゼーションは信頼性高く達成できない。
• 集約後部分布は因子化できるが、平均表現はしばしば相関する次元を示し、一般的なデセントラリゼーションの仮定に挑戦する。
• 乱数シードとハイパーパラメータは結果に大きく影響する；モデル選択は調整より予測力が低い。
• デセントラリゼーション指標は相関傾向にあるが、相関の強さはデータセットによって異なる；モジュラリティは他の指標とは異なる振る舞いをする。
• より高いデセントラリゼーションが下流タスクのサンプル効率を改善したりデータ要件を減らしたりするという体系的な証拠はない。
• 再現可能な実験設定と帰納的バイアスを明示的に考慮することは、デセントラライズ表現学習の進展に不可欠である。