[論文レビュー] An Image is Worth More Than a Thousand Words: Towards Disentanglement in the Wild

Aviv Gabbay, Niv Cohen+1 more|arXiv (Cornell University)|Jun 29, 2021

Digital Media Forensic Detection被引用数 16

ひとこと要約

この論文では、部分的にラベル付けされた属性と補完的残差要因を用いて、実世界の画像における視覚的要因の分離を実現する新しい手法ZeroDIMを提案する。'ブロンドの髪'や'眼鏡をかけている'といった属性をゼロショットで注釈づけるためにCLIPを活用することで、完全な教師あり学習が不可能な状況下でも、合成データおよび実世界のベンチマークにおいて最先端の分離画像操作を達成する。

ABSTRACT

Unsupervised disentanglement has been shown to be theoretically impossible without inductive biases on the models and the data. As an alternative approach, recent methods rely on limited supervision to disentangle the factors of variation and allow their identifiability. While annotating the true generative factors is only required for a limited number of observations, we argue that it is infeasible to enumerate all the factors of variation that describe a real-world image distribution. To this end, we propose a method for disentangling a set of factors which are only partially labeled, as well as separating the complementary set of residual factors that are never explicitly specified. Our success in this challenging setting, demonstrated on synthetic benchmarks, gives rise to leveraging off-the-shelf image descriptors to partially annotate a subset of attributes in real image domains (e.g. of human faces) with minimal manual effort. Specifically, we use a recent language-image embedding model (CLIP) to annotate a set of attributes of interest in a zero-shot manner and demonstrate state-of-the-art disentangled image manipulation results.

研究の動機と目的

• 完全な意味的属性のセットが得られない実世界の画像分布における視覚的要因の分離の課題に対処すること。
• 一部の属性のみが部分的にラベル付けされている状況で、ラベルなしの残差要因を考慮しながら分離を可能にすること。
• 関心のある属性のゼロショットラベルを自動生成するためにCLIPを用いることで、人的注釈への依存を低減すること。
• 部分的かつ不完全な教師あり学習の状況下でも、既存の半教師ありおよび完全教師あり分離手法を上回る性能を発揮する手法を開発すること。

提案手法

• 部分的にラベル付けされた関心対象の属性を、教師あり学習と自己教師あり学習のコンポonentを組み合わせて分離する。
• 明示的に注釈が付けられていない、補完的属性の集合をモデル化するための残差分離ヘッドを導入する。
• 自然言語フレーズ（例：'眼鏡をかけている'）として指定された属性のゼロショットラベルを、CLIP埋め込みを用いて取得する。
• 属性の関心対象と残差要因のための別々のヘッドを備えた変分オートエンコーダフレームワークを用いて、分離可能な表現を学習する。
• 再構成、ラベル付き属性の分離、および残差要因に対する不変性を同時に最適化する多目的損失関数を用いる。
• 分離性能を向上させるために、beta-VAEとスタイルベースのジェネレータ（StyleGAN2）を統合したアーキテクチャを採用する。

実験結果

リサーチクエスチョン

• RQ1 一部の属性のみが部分的にラベル付けされており、残りは完全にラベルなしの場合に、分離が効果的に達成可能か？
• RQ2 不完全な教師あり学習の設定下で、ZeroDIMの性能は既存の半教師あり分離手法と比べてどうか？
• RQ3 CLIPを用いて、人間の顔のような実世界の画像ドメインにおける正確なゼロショット属性ラベルを効果的に生成できるか？
• RQ4 残差分離が、画像操作の品質および制御性をどの程度向上させるか？
• RQ5 ZeroDIMは、合成ベンチマークおよび実世界の画像操作タスクの両方で最先端の結果を達成できるか？

主な発見

• dSpritesおよびChairsベンチマークにおいて、部分的教師あり学習下でも既存の半教師あり手法を上回り、最先端の分離性能を達成した。
• Locatelloら[30] や InfoGANベースのアプローチと比較して、ラベル付き属性および残差要因の両方の分離性能が顕著に向上した。
• CLIPによるゼロショット属性注釈により、FFHQ や CelebA といった実世界データセットでも、人的努力を最小限に抑えつつ高品質な画像操作が可能になった。
• 画像の高精細性を維持しながら、髪の色や顔の装飾品といった属性に対して正確かつ分離可能な制御が可能になった。
• 残差分離により、より強固で汎用性の高い表現が得られ、モード崩壊の低減とサンプル多様性の向上が達成された。
• アブレーションスタディの結果、部分的ラベル付けスキームおよび残差分離ヘッドの両方が最適な性能を発揮するために不可欠であることが確認された。