[論文レビュー] A Benchmark and Baseline for Language-Driven Image Editing

Jing Shi, Ning Xu+4 more|arXiv (Cornell University)|Oct 5, 2020

Multimodal Machine Learning Applications参考文献 29被引用数 5

ひとこと要約

本稿は、自然言語によるリクエストを用いてローカルおよびグローバルな編集を可能にする新しい言語駆動型画像編集（LDIE）タスクを導入する。30,000件のアノテート済み画像・トリプレット（元画像、リクエスト、目的画像）を含む、初めての大規模ベンチマークGIERを提案し、リクエストを解釈し、編集操作とマスクを予測し、段階的に適用するモジュラーなニューラルネットワークベースラインを提示する。このアプローチは解釈可能性が高く、実際のユーザーデータにおいて優れた性能を示す。

ABSTRACT

Language-driven image editing can significantly save the laborious image editing work and be friendly to the photography novice. However, most similar work can only deal with a specific image domain or can only do global retouching. To solve this new task, we first present a new language-driven image editing dataset that supports both local and global editing with editing operation and mask annotations. Besides, we also propose a baseline method that fully utilizes the annotation to solve this problem. Our new method treats each editing operation as a sub-module and can automatically predict operation parameters. Not only performing well on challenging user data, but such an approach is also highly interpretable. We believe our work, including both the benchmark and the baseline, will advance the image editing area towards a more general and free-form level.

研究の動機と目的

• 非エキスパートにとって画像編集を容易にする挑戦に応えるために、手動での操作選択やパrameterチューニングを必要としない自然言語ベースの編集を可能にすること。
• ローカルおよびグローバルな画像編集をサポートする大規模で現実世界のデータセットを構築し、操作とマスクに関する詳細なアノテーションを提供すること。
• 言語リクエストから編集操作、領域、パrameterを予測するモジュラーで解釈可能なモデルを開発し、人間が関与するフィードバックによる最適化を可能にすること。
• 自由形式の言語駆動型画像編集分野における今後の研究の強固なベースラインを確立すること。

提案手法

• Reddit や Zhopped などのプラットフォームで得た実際のユーザーのリクエストから、30,000件のサンプルを含む、画像編集リクエストの基礎となるGIERデータセットを提案。元画像、自然言語による編集リクエスト、目的画像を含む。
• 言語リクエストを、それぞれが予測された領域とパrameterを持つ一連の編集操作に分解するモジュラーなニューラルネットワーク（OMN）を設計。
• 複数の領域と操作固有の文脈を処理できるように拡張した、操作条件付きグランドイングモデルを導入。これにより、局所化の正確性が向上。
• トレーニング中に、画像、言語、操作のモodal ごとの特徴を統一的に学習するために、トリプレット損失を用いる。これにより、マルチモーダル表現学習が強化される。
• 2段階のトレーニングプロセスを採用：まず編集操作とマスクを予測し、その後、GANベースのジェネレータを用いて出力画像を精緻化。
• アブレーションスタディと人間評価を用いてモデルを検証し、多様で現実世界のユーザーのリクエストに対しても堅牢であることを示した。

実験結果

リサーチクエスチョン

• RQ1 言語駆動型画像編集システムは、詳細なリクエストと曖昧なリクエストの両方を、ローカルおよびグローバルな画像編集に効果的に解釈できるか？
• RQ2 操作とマスクのアノテーションの導入が、画像編集モデルの性能と解釈可能性にどのように寄与するか？
• RQ3 モジュラーで操作固有のネットワークアーキテクチャは、全体最適化のGANベースのモデルと比較して、視覚的品質と編集の正確性の面でどれほど優れているか？
• RQ4 視覚的特徴と言語特徴は、操作予測とグランドイングにどのように寄与するか？また、ローカル編集とグローバル編集の両方において、どちらのモダリティがより重要か？
• RQ5 予測された操作とマスクによる中間監督は、最終的な画像生成品質を向上させ、データセットのアノテーションを検証するのを助けるか？

主な発見

• 提案されたモジュラーネットワーク（OMN）は、実際のユーザーデータにおいて優れた性能を示し、Pix2pixAugというGANベースのベースラインと比較してユーザー評価が顕著に高く、視覚的品質と人間との協調性に優れていることが示された。
• 真値の操作とマスクが与えられた場合のモデルの上限性能は、完全なモデルよりもはるかに高く、操作とマスクの予測精度を向上させれば大幅な性能向上が見込まれることを示している。
• アブレーションスタディの結果、操作選択において視覚的特徴と言語的特徴（V+L）を併用しても、言語的特徴のみ（L）を用いる場合よりわずかに性能が低いことが判明。これは、言語の文脈そのものが操作予測に非常に有用であることを示唆している。
• トレーニング中にトリプレット損失を用いることで性能が向上し、画像、言語、操作の多様な空間における表現の統一が有効であることが確認された。
• トレーニング中に操作の順序をランダム化すると、固定順序よりもわずかに性能が向上した。これは、モデルの一般化性能が多様な操作順序のシーケンスから利益を受けることを示している。
• モデルは強力なローカル編集能力を示し、複雑なシーンにおいてテキストや人物を正しく削除でき、視覚的グランドイングと編集の顕著さにおいてPix2pixAugを上回った。