[論文レビュー] Open-Edit: Open-Domain Image Manipulation with Open-Vocabulary Instructions

Xihui Liu, Zhe Lin+5 more|arXiv (Cornell University)|Aug 4, 2020

Multimodal Machine Learning Applications参考文献 65被引用数 7

ひとこと要約

Open-Edit は、事前学習済みの視覚的意味的埋め込み空間を活用して、画像特徴マップに対するテキスト誘導型ベクトル演算を実行することで、オープンボキャブラリーな自然言語指示を用いたオープンドメイン画像操作のための最初のフレームワークである。構造を意識したデコーダーとサイクル整合性制約を課したサンプル固有の最適化により、高精細で詳細を保持した編集を実現し、多様な画像ドメインにわたる視覚的品質と一般化性能において先行手法を上回っている。

ABSTRACT

We propose a novel algorithm, named Open-Edit, which is the first attempt on open-domain image manipulation with open-vocabulary instructions. It is a challenging task considering the large variation of image domains and the lack of training supervision. Our approach takes advantage of the unified visual-semantic embedding space pretrained on a general image-caption dataset, and manipulates the embedded visual features by applying text-guided vector arithmetic on the image feature maps. A structure-preserving image decoder then generates the manipulated images from the manipulated feature maps. We further propose an on-the-fly sample-specific optimization approach with cycle-consistency constraints to regularize the manipulated images and force them to preserve details of the source images. Our approach shows promising results in manipulating open-vocabulary color, texture, and high-level attributes for various scenarios of open-domain images.

研究の動機と目的

• 事前定義されたドメインや細粒度のアノテーションに制限されない、任意の自然言語指示によるオープンドメイン画像操作を可能にすること。
• ウェブから得られる弱教師付きの画像キャプションペアを活用することで、高価なペaired訓練データへの依存を低減すること。
• サンプル固有の最適化とサイクル整合性正則化を用いて、編集画像における構造的・意味的詳細の保持を実現すること。
• 調整可能なベクトル演算係数により、色・テクスチャ・意味的属性などの滑らかで制御可能な属性遷移を可能にすること。
• ドメイン固有の微調整を必要とせず、多様で現実世界の画像ドメインに一般化できることを示すこと。

提案手法

• Conceptual Captions からの例など、事前学習済みの視覚的意味的埋め込みモデルを用い、画像とテキスト指示を共通の埋め込み空間にマップする。
• テキスト誘導型の視覚的特徴の操作をベクトル演算により実行する： visual_embedding(image) + α × (text_embedding(target) - text_embedding(source))
• エッジの監視を用いて高精細な画像構造を再構成・編集中に維持する構造を保全する画像デコーダーを採用する。
• 再構成とサイクル整合性損失で正則化された、デコーダー内のレイヤーごとの摂動を学習するサンプル固有の最適化を適用する。
• 双方向編集（例：赤いりんご → 緑のりんご → 赤いりんご）を実行することで、恒等性の保存と現実性を強制するサイクル整合性制約を用いる。
• ペア化された編集済み画像アノテーションを必要とせず、画像再構成の監視のみで画像デコーダーを訓練する。

実験結果

リサーチクエスチョン

• RQ1 細粒度のアノテーションやペア訓練データを必要とせず、オープンドメイン設定においてオープンボキャブラリーな画像操作が可能になるか？
• RQ2 視覚的意味的埋め込みをどのように活用して、局所的で指示に適合した画像特徴の操作を実現できるか？
• RQ3 サンプル固有の最適化とサイクル整合性制約を組み合わせることで、生成された編集における詳細の保持と現実性がどの程度向上するか？
• RQ4 このフレームワークは、多様な画像タイプと指示において滑らかで制御可能な属性遷移をサポートできるか？
• RQ5 この手法は、未観測の画像ドメインや複雑な自然言語指示に対しても、どのように一般化するか？

主な発見

• 本モデルは、ユーザー評価と LPIPS スコアの両面で、オープンドメイン画像操作において最先端の視覚的品質を達成しており、優れた現実性と詳細の保持が示された。
• デコーダーにエッジ制約を組み込むことで、サンプル固有の最適化と併用した場合、Conceptual Captions 検証セットにおける LPIPS エラーが 0.17 から 0.06 に低下した。
• サイクル整合性制約を伴うサンプル固有の最適化により、Oxford-102 テストセットにおける L2 エラーが 0.19 から 0.05 に低下し、再構成の忠実度が顕著に向上した。
• 本手法は、色・テクスチャ・意味的オブジェクトといった多様な属性を、顔の編集やオブジェクトの交換を含む複雑なケースを含め、オープンドメインの画像に対して効果的に操作できた。
• 係数 α を調整することで、元の属性とターゲット属性の間での滑らかな補間が可能となり、操作強度の制御が可能であることが示された。
• 定性的な結果から、未観測の画像ドメインや指示に対しても、本フレームワークは良好な一般化性能を示した。