[論文レビュー] An Empirical Study on Disentanglement of Negative-free Contrastive Learning

Jinkun Cao, Ruiqian Nai+3 more|arXiv (Cornell University)|Jun 9, 2022

Domain Adaptation and Few-Shot Learning被引用数 4

ひとこと要約

本稿では、従来のメトリクスが機能しない高次元表現空間におけるネガティブフリーな対照学習を評価するため、新しい分離度メトリクスMED（相互情報量に基づくエントロピー分離度）を提案する。実験的に、ネガティブフリーな対照学習手法が表現の良好に分離された部分空間を学習できることを示し、分離度研究を低次元の合成ベンチマークから、CelebAのような現実世界の複雑なデータや高次元モデルへと拡張する。

ABSTRACT

Negative-free contrastive learning methods have attracted a lot of attention with simplicity and impressive performances for large-scale pretraining. However, its disentanglement property remains unexplored. In this paper, we examine negative-free contrastive learning methods to study the disentanglement property empirically. We find that existing disentanglement metrics fail to make meaningful measurements for high-dimensional representation models, so we propose a new disentanglement metric based on Mutual Information between latent representations and data factors. With this proposed metric, we benchmark the disentanglement property of negative-free contrastive learning on both popular synthetic datasets and a real-world dataset CelebA. Our study shows that the investigated methods can learn a well-disentangled subset of representation. As far as we know, we are the first to extend the study of disentangled representation learning to high-dimensional representation space and introduce negative-free contrastive learning methods into this area. The source code of this paper is available at \url{https://github.com/noahcao/disentanglement_lib_med}.

研究の動機と目的

• 従来の分離度メトリクスが無効となる高次元空間において、ネガティブフリーな対照学習が分離された表現を生成できるかどうかを調査すること。
• 合成的で低次元のデータセットにとどまらず、CelebAのような現実世界の複雑なデータへと分離表現学習を拡張すること。
• 高次元表現モデルに適した、従来のメトリクスの限界を克服するロバストな分離度メトリクスの開発。
• 最先端のネガティブフリーな対照学習手法の分離度性能を、合成データおよび現実世界のデータの両方で実験的にベンチマークすること。

提案手法

• 潜在表現と元のデータ要因との間の相互情報量に基づく新しい分離度メトリクスMEDを提案し、高次元空間における意味のある評価を可能にする。
• MEDスコアに基づき、全表現空間から最も分離度の高い次元をtop-k選択戦略で特定する。
• 合成データセット（dSprites, Shapes3D, SmallNORB, Cars3D）および現実世界のCelebAデータセットに対してMEDメトリクスを適用し、分離度を評価する。
• 提案されたMEDメトリクスを用いて、複数のネガティブフリーな対照学習モデル（SimSiam, BYOL, Barlow Twinsなど）を訓練・評価する。
• top-k分離度の高い部分空間の下流性能を、全表現および低次元VAEベースラインと比較する。
• ハイパーパrameter kの感度を評価するためのアブレーションスタディを実施し、異なる部分空間サイズにおけるtop-k MED選択のロバスト性を検証する。

実験結果

リサーチクエスチョン

• RQ1 従来の分離度メトリクスは、特に対照学習由来の高次元表現モデルを意味的に評価できるか？
• RQ2 ネガティブフリーな対照学習手法は、高次元の潜在空間において分離された表現を学習するのか？
• RQ3 高次元の対照表現から良好に分離された部分空間を特定できるか？ その性能は全表現と比べてどうか？
• RQ4 現実世界のデータ（CelebAなど）において、対照学習の分離度は従来のVAEベースの生成モデルと比べて優れているか？
• RQ5 対照モデルからtop-kで選択された部分空間は、低次元VAEと比較して下流タスクで競争力あるか、あるいは優れた性能を示すか？

主な発見

• 提案されたMEDメトリクスは、従来のメトリクスが設計上の制限により失敗する高次元表現空間においても、分離度の評価に成功した。
• SimSiam や BYOL といったネガティブフリーな対照学習手法は、MEDスコアで測定したところ、潜在空間の一部の次元において強い分離度を達成した。
• CelebAデータセットにおいて、従来のVAEベースの手法は良好な分離表現を学習できず、分離度研究と現実世界のデータの複雑さの間のギャップを浮き彫りにした。
• dSprites, Shapes3D, CelebAの各データセットにおいて、対照モデルから得られたtop-k分離度の高い部分空間は、低次元VAEの全表現と同等またはそれ以上の下流性能を達成した。
• 異なるk値に対して、top-k部分空間のMEDスコアが安定しており、選択プロセスのロバスト性と信頼性が裏付けられた。
• 本研究では、全表現には多くの次元で要因関連情報が含まれている一方で、top-kで選択された次元は非常に分離度が高く、解釈可能であることが明らかになった。