[論文レビュー] Learning to Compose Visual Relations

Nan Liu, Shuang Li+3 more|arXiv (Cornell University)|Nov 17, 2021

Visual Attention and Saliency Detection被引用数 12

ひとこと要約

本稿では、各関係を正規化されていない密度として表現することで、複数の関係を組み合わせた画像の忠実な生成と編集を可能にする因子化されたエネルギーに基づくモデル（EBM）を提案する。この手法は、CLEVR や Blender のようなデータセットにおいて、関係的シーン理解、意味的同等性の検出、ゼロショット一般化の面でベースラインを上回る性能を発揮する。

ABSTRACT

The visual world around us can be described as a structured set of objects and their associated relations. An image of a room may be conjured given only the description of the underlying objects and their associated relations. While there has been significant work on designing deep neural networks which may compose individual objects together, less work has been done on composing the individual relations between objects. A principal difficulty is that while the placement of objects is mutually independent, their relations are entangled and dependent on each other. To circumvent this issue, existing works primarily compose relations by utilizing a holistic encoder, in the form of text or graphs. In this work, we instead propose to represent each relation as an unnormalized density (an energy-based model), enabling us to compose separate relations in a factorized manner. We show that such a factorized decomposition allows the model to both generate and edit scenes that have multiple sets of relations more faithfully. We further show that decomposition enables our model to effectively understand the underlying relational scene structure. Project page at: https://composevisualrelations.github.io/.

研究の動機と目的

• 関係が複雑に絡み合っており、お互いに依存し合う複数の視覚的関係を画像に組み合わせる課題に対処すること。
• 真のオブジェクトの位置情報やセグメンテーションマスクを必要とせずに、関係的シーン記述に基づいた正確な画像生成と編集を可能にすること。
• 意味的に同等の関係的記述（例：「キャビネットがソファの前で」対「ソファがキャビネットの後ろで」）を識別できるようにすること。
• 微調整なしで未学習のデータセット（例：Blender）にゼロショットで一般化できること。
• 全体としての関係を統合的に扱うのでなく、個々の関係に因子化してモデル化する構成的フレームワークの開発

提案手法

• 各視覚的関係をエネルギーに基づくモデル（EBM）を用いて正規化されていないエネルギー密度としてモデル化し、因子化された組み合わせを実現する。
• 全シーンは個々の関係のエネルギー密度の積として表現され、関係間の相互作用が自然に生じる。
• CLIP やトレーニング済みエンコーダーから得られる学習済み画像埋め込みを、視覚的およびテキスト入力に条件づけるために用いる。
• 画像生成と編集は、組み合わせたエネルギー関数上で最適化（例：ランジュバンダイナミクス）を用いて実行する。
• 関係の理解は、与えられた画像に対して異なる関係的記述の相対的エネルギー得点を比較することで達成する。
• 画像と関係の埋め込みを一致させるために、対照学習を用いてエンドツーエンドでモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 因子化された EBM フレームワークは、統合的またはアテンションベースのモデルと比較して、複数の組み合わせられた視覚的関係を持つ画像をより忠実に生成できるか？
• RQ2 既存の関係を保ちつつ、新しい関係的記述を組み込んだ画像編集が可能か？
• RQ3 意味的に同等でない関係的シーン記述と同等の記述を区別できるか？
• RQ4 微調整なしで、異なるデータセット（例：Blender）の関係的記述やシーンに一般化できるか？
• RQ5 従来のマルチモーダルモデル（例：CLIP）と比較して、EBMに基づくアプローチはシーンの背後にある関係的構造をよりよく捉えられるか？

主な発見

• 提案された EBMベースの手法は、未学習の Blender データセットにおける画像対テキスト検索で CLIP や他のベースラインを顕著に上回り、強いゼロショット一般化性能を示した。
• CLEVR および iGibson データセットでは、意味的に同等の関係的記述の相対的スコア差が、同等と不一致の記述の差よりも小さく、言い換えの影響に強く、ロバストであることが確認された。
• 定性的な結果と関係の組み合わせに関する定量的指標により、ベースラインと比較して、複数の関係を持つ画像の生成と編集がより忠実に行えることが裏付けられた。
• 意味的に同等の記述間のエネルギー差は、不一致の記述間の差よりも一貫して低く、モデルが関係的意味を正しく捉えていることを確認した。
• 学習済み埋め込みを用いたモデルは、CLIP や CLIP を微調整したベースラインと比較して、未学習のデータセットでの一般化性能が優れており、EBMに基づく構成的学習の優位性を示した。
• 訓練データとテストデータが異なるドメインから来ても、関係的シーン理解において高い正確性を達成しており、モデルの構成的かつ一般化可能な性質が顕著に現れた。