[論文レビュー] Compositional Visual Generation and Inference with Energy Based Models

Yilun Du, Shuang Li+1 more|arXiv (Cornell University)|Apr 13, 2020

Generative Adversarial Networks and Image Synthesis参考文献 48被引用数 8

ひとこと要約

この論文は、エネルギー関数としての概念（例：'笑顔' や '男性'）を個別に表現するエネルギーに基づくモデル（EBM）を用いた、合成的視覚生成および推論の新規フレームワークを提案する。論理演算子（論理積、論理和、論理否定）を用いてこれらのエネルギー関数を組み合わせることで、複雑な合成的概念を満たす整合性のある画像を生成する。CelebAおよび合成3Dシーンのデータセット上で、継続的学習、ゼロショットの合成一般化、および強固な概念推論を実証した。

ABSTRACT

A vital aspect of human intelligence is the ability to compose increasingly complex concepts out of simpler ideas, enabling both rapid learning and adaptation of knowledge. In this paper we show that energy-based models can exhibit this ability by directly combining probability distributions. Samples from the combined distribution correspond to compositions of concepts. For example, given a distribution for smiling faces, and another for male faces, we can combine them to generate smiling male faces. This allows us to generate natural images that simultaneously satisfy conjunctions, disjunctions, and negations of concepts. We evaluate compositional generation abilities of our model on the CelebA dataset of natural faces and synthetic 3D scene images. We also demonstrate other unique advantages of our model, such as the ability to continually learn and incorporate new concepts, or infer compositions of concept properties underlying an image.

研究の動機と目的

• 機械学習システムが、人間の合成的推論を模倣するように、より単純な学習済みコンponentsから複雑な視覚的概念を合成できるようにすること。
• 生成モデルにおける固定要因の分離表現や硬直的なオブジェクトスロットモデルの限界を克服し、要因レベルとオブジェクトレベルの両方の合成性を統合すること。
• 新しい概念（例：新しい髪の色）を追加する際、モデル全体を再訓練せずに新しいエネルギー関数を追加することで継続的学習を可能にすること。
• テスト時に論理節を指定することで、制御可能な画像生成を実現すること（例：'笑顔' かつ '男性' である画像の生成）。
• エネルギー最小化を用いて、複数の観測から、物体の位置や形状などの概念パラメータを推定する。これは、訓練時に見られなかった複数オブジェクトのシーンでも有効である。

提案手法

• 各視覚的概念（例：'笑顔の顔'、'男性'）を、その概念を示す画像に低いエネルギー値を割り当てるスカラーのエネルギー関数として表現する。
• 論理演算子（論理積：加算、論理和：最大値、論理否定：補数）を用いてエネルギー関数を組み合わせ、複雑な概念の再帰的合成を可能にする。
• 全エネルギーを最小化するようにマルコフ連鎖モンテカルロ（MCMC）サンプリングを用いて画像を生成し、全体の整合性を保証する。
• 生成および推論の両過程で、効率的なサンプリングとエネルギー最小化を実現するため、ランジュバンダイナミクスを用いる。
• 対照学習またはノイズ対比推定を用いて、特定の概念（例：物体の位置、形状、色）ごとに個別のEBMを学習する。
• 複数の観測からのエネルギーの合計を最小化することで概念推論を実行し、最大事後確率（MAP）推定により、最も可能性の高い潜在概念パラメータ（例：位置）を推定する。

実験結果

リサーチクエスチョン

• RQ1 エネルギーに基づくモデルは、論理演算子（論理積、論理和、論理否定）を用いて視覚的概念を合成し、整合性のある複雑な画像を生成できるか？
• RQ2 モデルは、システム全体を再訓練せずに新しい概念を段階的に追加することで継続的学習を可能にするか？
• RQ3 訓練時に見られなかったシーン構成であっても、複数の観測から、物体の位置やサイズなどの潜在概念パラメータを推定できるか？
• RQ4 複数のオブジェクトが訓練時に存在しなかったシーンにおいて、モデルは未見の組み合わせに一般化してうまく機能するか？
• RQ5 テスト時に論理節を指定することで、細分化された制御可能な画像生成が実現できるか？

主な発見

• モデルは、'笑顔' と '男性' の個別エネルギー関数を組み合わせることで、'笑顔の男性の顔' といった複雑な合成概念を満たす自然な画像を成功裏に生成した。
• EBMはベースラインモデルよりも、物体の位置やサイズの外挿に優れており、より多様な訓練データを使用するほど位置誤差が減少した。
• 複数の観測からの概念推論は高い正確性と頑健性を示し、位置予測タスクにおいてResNetベースラインを上回った。
• 訓練時に一度も見られなかった2つの立方体を含むシーンに対してテストしたところ、EBMのエネルギー分布は個々の立方体エネルギー関数の和と一致する二峰性の構造を示し、合成的推論の妥当性を裏付けた。
• モデルはゼロショットの合成一般化を示した：訓練時に存在しなかった概念の組み合わせに対しても、妥当な画像を生成できた。
• エネルギー関数の再帰的合成により、論理節に基づく柔軟で制御可能な生成が可能となり、統一されたフレームワークで生成と推論の両方を実現した。