[論文レビュー] Leveraging Off-the-shelf Diffusion Model for Multi-attribute Fashion Image Manipulation

Chaerin Kong, DongHyeon Jeon+2 more|arXiv (Cornell University)|Oct 12, 2022

Generative Adversarial Networks and Image Synthesis被引用数 5

ひとこと要約

本論文は、注意プールングを用いた微fineチューニングされた多属性分類器によってガイドされる、市販のdiffusionモデルを活用する汎用的でマスク不要のファッション属性編集フレームワークを提案する。空間的注意マップを用いた分類器ガイドドdiffusionにより、アイテムの種別、生地、ネックラインなど多様なファッション属性に対して、属性セットごとに別々のモデルを訓練する必要がない高品質なマルチ属性編集を実現する。

ABSTRACT

Fashion attribute editing is a task that aims to convert the semantic attributes of a given fashion image while preserving the irrelevant regions. Previous works typically employ conditional GANs where the generator explicitly learns the target attributes and directly execute the conversion. These approaches, however, are neither scalable nor generic as they operate only with few limited attributes and a separate generator is required for each dataset or attribute set. Inspired by the recent advancement of diffusion models, we explore the classifier-guided diffusion that leverages the off-the-shelf diffusion model pretrained on general visual semantics such as Imagenet. In order to achieve a generic editing pipeline, we pose this as multi-attribute image manipulation task, where the attribute ranges from item category, fabric, pattern to collar and neckline. We empirically show that conventional methods fail in our challenging setting, and study efficient adaptation scheme that involves recently introduced attention-pooling technique to obtain a multi-attribute classifier guidance. Based on this, we present a mask-free fashion attribute editing framework that leverages the classifier logits and the cross-attention map for manipulation. We empirically demonstrate that our framework achieves convincing sample quality and attribute alignments.

研究の動機と目的

• 各属性セットごとに別々のモデルを必要とする従来のGANベースのファッション属性編集手法のスケーラビリティと汎用性の制限を解消する。
• 一般ドメインデータ（例：ImageNet）に事前学習されたdiffusionモデルを活用することで、ファッション画像生成におけるデータ不足とドメインシフトの課題を克服する。
• 一元的なフレームワーク内で複数の複雑なファッション属性（例：アイテムタイプ、生地、カラー）を同時に編集可能にする。
• 手動によるセグメンテーションマスクの必要性を排除し、多属性分類器からの注意マップを活用して空間的編集をガイドする。
• 限られたアノテート済みデータで多様な属性を扱えるよう、注意プールングを用いた効率的な微fineチューニング戦略を開発する。

提案手法

• 学習から再訓練を回避するため、事前学習済みの市販のdiffusionモデル（例：Imagen）を画像生成に活用する。
• 限られたデータから多様なファッション属性を分類できるように、ビジョントランスフォーマー（ViT）をバックボーンとする多属性分類器を訓練し、微fineチューニングされた注意プールング層を導入する。
• 分類器のログティスの勾配がdenoisingプロセスをガイドする分類器ガイドドdiffusionを適用する。
• 分類器の最終層からの注意マップを用いて、編集対象となる空間的領域を暗黙的に特定し、明示的なセグメンテーションマスクの代わりに使用する。
• 編集中、関係のない画像領域を保持するための背景保持損失を統合し、マスクの監視なしに忠実度を保証する。
• ガイドスケール（λ）を最適化し、属性の整合性とサンプル品質のバランスを図り、λ=100で最良のパフォーマンスを達成した。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みの市販のdiffusionモデルは、生成部の微fineチューニングなしにファッション属性編集に効果的に適応可能か？
• RQ2 注意プールングを施した単一の多属性分類器は、多様なファッション属性にわたり複雑なマルチ属性編集を効果的にガイドできるか？
• RQ3 分類器からの注意マップは、手動によるセグメンテーションマスクの代わりに、局所的で高精細な画像操作を可能にするか？
• RQ4 分類器の精度とガイドスケールの影響は、生成された編集結果の品質と整合性にどのように現れるか？
• RQ5 従来のGANベースの手法とは異なり、本フレームワークは多数の属性を同時に編集する際にも性能と安定性を維持できるか？

主な発見

• 提案フレームワークは、1つの市販のdiffusionモデルと微fineチューニングされた多属性分類器を用いて、アイテムの種別や生地といった複雑な属性を含む、高品質で多様なファッション属性編集を実現した。
• 注意プールングを用いた分類器ガイドドdiffusionにより、マスクフリー編集が可能となり、空間的注意マップが編集対象領域を暗黙的に特定する。これにより、ユーザーが提供するマスクの必要性が排除された。
• 本フレームワークは、調和的な属性コンビネーションを実現するマルチ属性編集を効果的に実行し、妥当で視覚的に一貫性のある結果を生成した。
• アブレーションスタディの結果、背景保持損失は忠実度の観点で極めて重要であり、その欠如により、条件に整合したが現実的でないサンプルが生成された。
• 最適なガイドスケール（λ=100）は、属性の整合性と画像品質のバランスを図る上で最良の結果をもたらした。低すぎると忠実度が低下し、高すぎると整合性が損なわれる。
• スケーラビリティの観点で、本手法はGANベースのベースラインを上回った。GANは広範な属性セットで学習すると崩壊するが、本diffusionベースの手法は安定性を維持した。