[論文レビュー] Lasagna: Layered Score Distillation for Disentangled Object Relighting

Dina Bashkirova, Arijit Ray+5 more|arXiv (Cornell University)|Nov 30, 2023

Generative Adversarial Networks and Image Synthesis被引用数 4

ひとこと要約

本稿では、画像の内容を保持しつつ直感的な照明制御を可能にする、テキスト誘導型で階層的なスコア蒸留手法であるLasagnaを提案する。合成リライトデータセット（R-eLiT）上で微調整された拡散モデルの事前分布を蒸留することで、実写およびアート的画像において最先端の性能を達成し、人間の好み評価の91％でベースラインを上回った。

ABSTRACT

Professional artists, photographers, and other visual content creators use object relighting to establish their photo's desired effect. Unfortunately, manual tools that allow relighting have a steep learning curve and are difficult to master. Although generative editing methods now enable some forms of image editing, relighting is still beyond today's capabilities; existing methods struggle to keep other aspects of the image -- colors, shapes, and textures -- consistent after the edit. We propose Lasagna, a method that enables intuitive text-guided relighting control. Lasagna learns a lighting prior by using score distillation sampling to distill the prior of a diffusion model, which has been finetuned on synthetic relighting data. To train Lasagna, we curate a new synthetic dataset ReLiT, which contains 3D object assets re-lit from multiple light source locations. Despite training on synthetic images, quantitative results show that Lasagna relights real-world images while preserving other aspects of the input image, outperforming state-of-the-art text-guided image editing methods. Lasagna enables realistic and controlled results on natural images and digital art pieces and is preferred by humans over other methods in over 91% of cases. Finally, we demonstrate the versatility of our learning objective by extending it to allow colorization, another form of image editing.

研究の動機と目的

• テキスト誘導型画像編集手法における幾何的認識あり、制御可能なリライトの欠如に対処すること。
• リライトにおけるシミュレーションから実世界へのドメインギャップを、照明編集を他の画像要因から分離することで低減すること。
• 手動のプロンプトチューニングや多数のハイパーパrameter調整を必要とせず、直感的で言語駆動のリライトを可能にすること。
• 合成リライト事前分布が、現実世界および抽象的デジタルアート画像へ一般化できることを示すこと。
• リライトを超えて、スケッチの色付けなどの他の編集タスクへもこの手法の有用性を拡張すること。

提案手法

• 合成リライトデータで微調整された拡散モデルから、幾何的認識ありの照明事前分布をスコア蒸留採択（SDS）を用いて抽出する。
• ピクセル空間における輝度調整としてリライトを表現することで、色、テクスチャ、形状を保持する分離可能な編集を可能にする。
• 照明を元の画像と重ねる重み付きブレンドによって構成される別々の編集レイヤーとしての階層的編集フレームワークを導入する。
• 14,000個以上の3Dレンダリング物体を含み、複数の光源配置と方向を持つ新しい合成データセットR-eLiTを訓練に用いる。
• すべてのリライト指示に同一のプロンプトテンプレートを用いることで、プロンプトチューニングの必要性を最小限に抑える。
• CLIPに基づく構造正則化子を用いた要素ごとのブレンドにより、色付けレイヤーと透明度レイヤーを導入し、フレームワークを色付けに拡張する。

実験結果

リサーチクエスチョン

• RQ1 合成リライトデータで微調整された拡散モデルが、非照明的属性を変更せずに実世界の画像へ一般化可能か？
• RQ2 スコア蒸留採択が、制御可能な編集に適した幾何的認識ありの照明事前分布を拡散モデルから効果的に抽出可能か？
• RQ3 輝度調整に基づく階層的編集アプローチは、エンドツーエンドの拡散ベース編集と比較して、画像コンテンツの保持をより良く行えるか？
• RQ4 1つの合成データセットで学習された統一された事前分布が、自然画像およびデジタルアートを含む多様なドメインで高品質なリライトをサポートできるか？
• RQ5 同じ学習目的が、最小限のアーキテクチャ変更で、スケッチの色付けなどの他の編集タスクへも拡張可能か？

主な発見

• Lasagnaは、複数のデータセットにおいて、InstructPix2Pix や P2P などの最先端テキスト誘導型編集手法を、人間の好み評価の91％以上で上回った。
• DreamBoothデータセットでは、ControlNetよりも91％のケースで好まれ、事前分布の蒸留がシミュレーションから実世界へのギャップを効果的に低減していることを示した。
• R-eLiTテストセットでは、Text2Live や DDS よりも92％の好まれ方を達成し、階層的かつ蒸留ベースの設計の重要性を裏付けた。
• 本手法は、デジタルアートおよび自然画像へも良好に一般化され、一貫した色、テクスチャ、形状を維持しながら、正確な照明方向制御が可能だった。
• 失敗事例として、背景に過剰露出アーティファクトが生じる場合や、非常に抽象的な入力に対して困難が生じる場合があり、これに対する改善は前景マスクの導入による可能性がある。
• 本手法は、変種スコア蒸留を用いた修正されたレイヤー構成により、スケッチの色付けへも成功して拡張され、妥当な結果を得た。