[論文レビュー] Learning to generate line drawings that convey geometry and semantics

Caroline Chan, Frédo Durand+1 more|arXiv (Cornell University)|Mar 23, 2022

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

本稿では、写真から3次元幾何構造と意味的コンテンツを明示的に符号化することで、ラインアートを生成する教師なし画像間変換手法を提案する。深度推定に基づく幾何損失と、CLIP埋め込みを用いた意味的損失を導入し、対応データを必要としないにもかかわらず、最先端の非ペaired手法を上回る形状とアイデンティティの伝達を実現する。

ABSTRACT

This paper presents an unpaired method for creating line drawings from photographs. Current methods often rely on high quality paired datasets to generate line drawings. However, these datasets often have limitations due to the subjects of the drawings belonging to a specific domain, or in the amount of data collected. Although recent work in unsupervised image-to-image translation has shown much progress, the latest methods still struggle to generate compelling line drawings. We observe that line drawings are encodings of scene information and seek to convey 3D shape and semantic meaning. We build these observations into a set of objectives and train an image translation to map photographs into line drawings. We introduce a geometry loss which predicts depth information from the image features of a line drawing, and a semantic loss which matches the CLIP features of a line drawing with its corresponding photograph. Our approach outperforms state-of-the-art unpaired image translation and line drawing generation methods on creating line drawings from arbitrary photographs. For code and demo visit our webpage carolineec.github.io/informative_drawings

研究の動機と目的

• ペア化されたトレーニングデータを必要とせず、3次元形状と意味的意味を効果的に伝えるラインアートの生成を目的とする。
• 高価な人手によるアノテーションが要るか、ドメイン特化されたデータに依存する既存の教師ありおよびペア化された手法の限界を克服することを目的とする。
• 明示的な幾何および意味的監視を組み込むことで、教師なし画像変換のラインアート生成性能を向上させることを目的とする。
• タスク固有の損失を導入することで、サイクル整合性や外観再構成に依存する度合いを低減することを目的とする。
• ドメイン特化のファインチューニングを一切行わず、多様な被写体および芸術的スタイルにわたるスタイライズドラインアートの生成を可能とすることを目的とする。

提案手法

• 本手法は、敵対的訓練とサイクル整合性を用いて、ラインアート生成を教師なし画像変換問題として定式化する。
• 生成されたラインアートの特徴から深度を予測する幾何損失を導入し、3次元形状の保持を保証する。
• 入力写真と生成されたラインアートのCLIP埋め込み間の距離を最小化する意味的損失を導入し、意味的コンテンツの保持を図る。
• 外観の保持はサイクル整合性によって維持され、再構成画像が元の画像に忠実であることを保証する。
• 敵対的損失、サイクル整合性損失、幾何損失、意味的損失の組み合わせを用いて、エンドツーエンドでモデルを訓練する。
• 本手法は、ポートレート、一般風景、スタイライズドドローイングを含む多様なデータセットで評価され、損失部のアブレーションスタディが実施されている。

Figure 2 : Given a photograph $a$ , our model trains network $G_{A}$ to synthesize line drawing $G_{A}(a)$ via four main losses. Adversarial style loss with discriminator $D_{B}$ encourages generated line drawings to match the style of the training set. The CLIP , appearance, and geometry losses enf

実験結果

リサーチクエスチョン

• RQ1 ペア化された監視に依存せずに、非ペアな写真から効果的にラインアートを生成できるか？
• RQ2 明示的な幾何および意味的監視が、生成されたラインアートの品質と情報量を向上させられるか？
• RQ3 深度推定とCLIPベースの意味的アライメントは、ラインアートの知覚的品質にどのように寄与するか？
• RQ4 幾何や意味的といったタスク固有の損失を導入することで、サイクル整合性の依存度はどの程度低減できるか？
• RQ5 ファインチューニングなしで、ドメイン特化のない多様な被写体および芸術的スタイルに一般化できるか？

主な発見

• 本手法は、幾何と意味の両面で、最先端の非ペア画像変換およびラインアート生成手法を上回っている。
• ユーザースタディの結果、ヘレンデータセットでトレーニングした場合、APDrawingGANと比較して60.1%のケースで本手法が好まれた。
• 一般データセット（例：ヘレン）でトレーニングしても、一部の設定で教師ありベースラインを上回る強力な性能を発揮する。
• CLIP特徴を用いた意味的損失は、入力の意味的特徴とのアライメントを著しく向上させ、グレースケールに近い出力を生じる傾向を軽減する。
• アブレーションスタディにより、幾何損失と意味的損失の両方が不可欠であることが確認され、幾何損失は形状の一貫性を向上させ、意味的損失はアイデンティティの保持を強化する。
• 本モデルはスタイルにわたる一般化がうまくいっており、ドメイン特化のファインチューニングなしで、ポートレート、複雑な風景、スタイライズドドローイングにおいても高品質な結果を生成する。

Figure 3 : Results of our method in four different styles.