[論文レビュー] A Sober Look at the Unsupervised Learning of Disentangled Representations and their Evaluation

Francesco Locatello, Stefan Bauer+5 more|arXiv (Cornell University)|Sep 1, 2020

Digital Media Forensic Detection被引用数 14

ひとこと要約

この論文は、帰納的バイアスが存在しないと、教師なし脱同定学習が根本的になし得ないことを理論的に証明することで、その実現可能性に疑問を呈する。8つのデータセットを用いた14,000体のモデルを対象とした大規模な研究を通じて、脱同定度評価指標が一致せず、ハイパーパramーターや乱数シードが性能に強く影響し、下流タスクにおけるサンプル複雑性が低下しないことが示された。これにより、帰納的バイアスの明示的利用と再現可能性のある評価プロトコルの導入が求められる。

ABSTRACT

The idea behind the \emph{unsupervised} learning of \emph{disentangled} representations is that real-world data is generated by a few explanatory factors of variation which can be recovered by unsupervised learning algorithms. In this paper, we provide a sober look at recent progress in the field and challenge some common assumptions. We first theoretically show that the unsupervised learning of disentangled representations is fundamentally impossible without inductive biases on both the models and the data. Then, we train over $14000$ models covering most prominent methods and evaluation metrics in a reproducible large-scale experimental study on eight data sets. We observe that while the different methods successfully enforce properties "encouraged" by the corresponding losses, well-disentangled models seemingly cannot be identified without supervision. Furthermore, different evaluation metrics do not always agree on what should be considered "disentangled" and exhibit systematic differences in the estimation. Finally, increased disentanglement does not seem to necessarily lead to a decreased sample complexity of learning for downstream tasks. Our results suggest that future work on disentanglement learning should be explicit about the role of inductive biases and (implicit) supervision, investigate concrete benefits of enforcing disentanglement of the learned representations, and consider a reproducible experimental setup covering several data sets.

研究の動機と目的

• 教師なし脱同定学習が帰納的バイアスなしでは実現可能であるという仮定に挑戦すること。
• 現在用いられている脱同定度評価指標の信頼性と、異なる手法やデータセット間での一貫性を評価すること。
• 脱同定表現が実際に下流タスクにおけるサンプル効率を向上させることを調査すること。
• 10,000体のトレーニング済みモデルと新しいライブラリである disentanglement_lib を公開することで、再現可能性を促進すること。
• 現在の教師なし脱同定学習の現状を冷静に評価し、暗黙の監視とモデルバイアスの役割を強調すること。

提案手法

• 理論的に、モデルおよびデータの両方における帰納的バイアスがなければ、教師なし脱同定学習は根本的になし得ないことを証明する。
• 8つの多様なデータセットを用いて、6つの最近の脱同定学習手法を用いて14,000体以上のモデルをトレーニングする大規模な実験的調査を実施する。
• 再現性と一貫性を確保するため、7つの脱同定度評価指標を再実装する。
• 固定されたアーキテクチャと、各手法ごとに1つの主要ハイパーパramータ-のみを変動させる標準化された実験プロトコルを採用する。
• 脱同定表現のトレーニングと評価に特化した新しいオープンソースライブラリである disentanglement_lib を公開する。
• 今後の研究におけるベースラインとしての役割を果たし、再現可能性を実現するため、10,000体以上のトレーニング済みモデルを公開する。

実験結果

リサーチクエスチョン

• RQ1 モデルおよびデータに対する帰納的バイアスがなければ、教師なし脱同定学習は根本的に可能であるのか？
• RQ2 異なる脱同定度評価指標は、どのモデルが脱同定されているかについて一致しているのか？
• RQ3 ハイパーパramーターや乱数シードが、モデルアーキテクチャの選択に比べて、脱同定性能にどの程度影響を与えるのか？
• RQ4 脱同定度の向上が、下流の学習タスクにおけるサンプル複雑性を低下させるのか？
• RQ5 真のラベルにアクセスできない状況でも、良好な脱同定モデルを信頼性を持って特定できるのか？

主な発見

• 理論的分析により、モデルおよびデータの両方における帰納的バイアスがなければ、教師なし脱同定学習は根本的に不可能であることが証明された。
• 集約事後分布における潜在変数の次元が無相関であるように強制しても、平均表現は次元間で依然として相関を示す。
• 脱同定度評価指標は推定方法に系統的な違いを示し、どのモデルが最も脱同定されているかについてしばしば合意しない。
• ハイパーパramーターや乱数シードが、モデルアーキテクチャの選択よりも脱同定性能に強い影響を与える。
• 脱同定度の向上が、下流の分類タスクにおけるサンプル複雑性を低下させることに明確な証拠は得られなかった。
• 本研究では、同じ手法でトレーニングされたがハイパーパramーターや乱数シードが異なるモデルが、重複する脱同定度スコアを示すことが判明し、監視なしでは良好なモデルの同定が困難であることが示された。