[論文レビュー] Unsupervised Learning of Compositional Energy Concepts

Yilun Du, Shuang Li+3 more|arXiv (Cornell University)|Nov 4, 2021

Advanced Image and Video Retrieval Techniques参考文献 53被引用数 11

ひとこと要約

COMETは、合成視覚的概念を個別のエネルギー関数として発見する教師なしフレームワークを提案する。これにより、グローバル要因（例：照明、天候）とローカル要因（例：物体の識別子、色）の両方を統合的にモデル化できる。これらのエネルギー関数の合計を最適化することで、COMETは概念の再組み合わせによる画像生成が可能となり、データセットやモダリティを超えて一般化する。学習済みコンponentsのクロスデータセットおよびクロスモダリティの合成が、教師なしで実現される。

ABSTRACT

Humans are able to rapidly understand scenes by utilizing concepts extracted from prior experience. Such concepts are diverse, and include global scene descriptors, such as the weather or lighting, as well as local scene descriptors, such as the color or size of a particular object. So far, unsupervised discovery of concepts has focused on either modeling the global scene-level or the local object-level factors of variation, but not both. In this work, we propose COMET, which discovers and represents concepts as separate energy functions, enabling us to represent both global concepts as well as objects under a unified framework. COMET discovers energy functions through recomposing the input image, which we find captures independent factors without additional supervision. Sample generation in COMET is formulated as an optimization process on underlying energy functions, enabling us to generate images with permuted and composed concepts. Finally, discovered visual concepts in COMET generalize well, enabling us to compose concepts between separate modalities of images as well as with other concepts discovered by a separate instance of COMET trained on a different dataset. Code and data available at https://energy-based-model.github.io/comet/.

研究の動機と目的

• グローバルおよびローカルの視覚的要因を統一的なフレームワークで教師なしで発見する手法の開発。
• 異なるデータセットやモダリティ間で概念を組み合わせることを可能にすること、例えば1つのデータセットの顔の表情と別のデータセットの照明を組み合わせること。
• 視覚的要因をエネルギー関数として表現し、その要因を含むシーンには低エネルギー、そうでない場合は高エネルギーを割り当てることで、最適化に基づく画像生成を可能にすること。
• 合成的または限定ドメインのベンチマークを超えて、現実的で多様なデータセットへの分離要因のスケーリング。
• 学習済みコンponentsが異なるデータ分布およびモダリティ間で一般化できることを示すこと、画像間変換およびクロスデータセット再組み合わせを含む。

提案手法

• COMETは、各視覚的要因をエネルギー関数として表現し、その要因を含む画像には低エネルギー、そうでない場合は高エネルギーを割り当てる。
• 教師なしのラベルを必要とせず、エネルギー関数の再構成を通じて画像再構築を強制することで、エネルギー関数を発見する。
• 画像生成は、すべてのエネルギー関数の合計を最小化する最適化プロセスとして定式化され、最小エネルギー状態が入力画像を再構築する。
• 空間的構造を保持するための位置埋め込みを用いた深層ニューラルネットワークでエネルギー関数を学習するが、それらを削除することでグローバル要因の発見を促進する。
• 1つのデータセットで学習したCOMETモデルのコンポーネントを、別のデータセットで学習した別のCOMETモデルのコンポーネントと組み合わせることで、クロスデータセット一般化を実現する。
• 複数モダリティのデータセット（例：CelebA-HQ と Danbooru、KITTI と Virtual KITTI）を用いてCOMETを学習し、ドメイン間で一貫した分解と再組み合わせを検証する。

実験結果

リサーチクエスチョン

• RQ1 教師なし手法は、統一的なエネルギーベースのフレームワーク内でグローバルおよびローカルの視覚的要因を発見できるか？
• RQ2 COMETは、異なるデータセット間で概念を組み合わせられるか？例えば、CLEVRの物体識別子とCLEVR Lightingの照明を組み合わせる。
• RQ3 1つのモダリティ（例：顔画像）で発見されたエネルギー関数が、別のモダリティ（例：車の画像）のものと意味的に再結合可能か？
• RQ4 COMETのコンポーネントは、多様なデータ分布およびモダリティ間でどの程度一般化するか？
• RQ5 COMETは、教師なしで照明、顔の表情、物体識別子といった要因をどの程度分離できるか？

主な発見

• COMETは、1つの教師なしフレームワーク内でグローバル要因（例：照明）とローカル要因（例：物体識別子、顔の表情）を効果的に発見し、定性的な分析により正しい要因の割り当てが確認された。
• エネルギー関数の合計を最適化することで画像生成が可能であり、総エネルギーを最小化することで入力画像が再構築される。
• COMETはクロスデータセットの組み合わせを示した：CLEVRとCLEVR Toyのコンポーネントを再結合して、混合された物体タイプを持つ新しい画像を生成可能。
• CelebA-HQ と Danbooru で学習したCOMETのコンポーネントは、モダリティをまたいで一貫して分離されており、髪の色、肌の色、顔の表情といった属性の選択的制御が可能。
• COMETは複数モダリティのデータセットに一般化でき、KITTIの照明とVirtual KITTIの物体特徴を再結合可能であり、ドメインを超えた要因の組み合わせを実証。
• 一部のエンタングルメント（例：再構築における照明アーチファクト）は存在するが、COMETはグローバルおよびローカル要因を同時にモデル化する点で、先行する教師なし手法を上回った。