[論文レビュー] CLIPascene: Scene Sketching with Different Types and Levels of Abstraction

Yael Vinker, Yuval Alaluf+2 more|arXiv (Cornell University)|Nov 30, 2022

Advanced Vision and Imaging被引用数 7

ひとこと要約

CLIPasceneは、抽象化を幾何的正確性（幾何的正確性対意味的強調）と単純さ（詳細なスティックから疎らなスティック）という2つの制御可能な軸に分離する、シーンスケッチのための新しい手法を提案する。CLIP-ViT特徴量によってガイドされた2つのMLPを用いて、複数の抽象化レベルで滑らかでベクトルベースのスケッチを生成し、ユーザーが制御可能な段階的単純化を実現するとともに、複雑なシーンにおいても意味的整合性と構造を保持する。

ABSTRACT

In this paper, we present a method for converting a given scene image into a sketch using different types and multiple levels of abstraction. We distinguish between two types of abstraction. The first considers the fidelity of the sketch, varying its representation from a more precise portrayal of the input to a looser depiction. The second is defined by the visual simplicity of the sketch, moving from a detailed depiction to a sparse sketch. Using an explicit disentanglement into two abstraction axes -- and multiple levels for each one -- provides users additional control over selecting the desired sketch based on their personal goals and preferences. To form a sketch at a given level of fidelity and simplification, we train two MLP networks. The first network learns the desired placement of strokes, while the second network learns to gradually remove strokes from the sketch without harming its recognizability and semantics. Our approach is able to generate sketches of complex scenes including those with complex backgrounds (e.g., natural and urban settings) and subjects (e.g., animals and people) while depicting gradual abstractions of the input scene in terms of fidelity and simplicity.

研究の動機と目的

• 計算的シーンスケッチにおける細分化された、ユーザーが制御可能な抽象化の欠如に対処すること。
• 幾何的忠実度と視覚的単純さを独立した抽象化軸として提供し、芸術的コントロールを向上させること。
• デザイナーによる後続の編集を可能にするベクトル形式のスケッチを生成すること。
• ストローク数のみに依存するか、滑らかでない単純化を生成する既存手法の制限を克服すること。
• 前景・背景の分離と、抽象化レベル間での意味的整合性を備えた複雑なシーンをサポートすること。

提案手法

• 抽象化を2つの軸に分離：忠実度（正確から意味的へ）と単純さ（詳細から疎らへ）。
• 2つの独立したMLPネットワークを訓練：1つはCLIP-ViT特徴量に基づいてスティックの配置を予測し、もう1つは認識可能性を保持しながら徐々にスティックを削除する。
• 中間のCLIP-ViT層（例：層2は高忠実度、層11は緩い意味的抽象化）を用いて忠実度軸をガイドする。
• シーン分解を適用して、前景と背景を別々にスケッチすることで、構造的一致性を向上させる。
• ベジェ曲線を用いてベクトルスケッチを生成し、高忠実度の編集とスケーラビリティを実現する。
• CLIP-ViTのグローバルな文脈理解を活用して、抽象化中に意味的整合性を維持する。

実験結果

リサーチクエスチョン

• RQ1 シーンスケッチにおける抽象化は、どのように独立して制御可能な軸に分離可能か？
• RQ2 ディープラーニング手法は、複数の抽象化レベルにわたり滑らかで段階的な単純化を生成できるか？
• RQ3 忠実度と単純さを同時に制御することで、スケッチの品質とユーザーのコントロールがどのように向上するか？
• RQ4 外部データセットを一切使用せずに、抽象化レベル間で意味的整合性を保ったベクトルベースのスケッチを生成できるか？
• RQ5 視覚的品質と抽象化コントロールの観点から、既存のスケッチ手法と比較して本手法はどのように差をつけるか？

主な発見

• 本手法は、忠実度と単純さの複数のレベルにわたるスケッチのマトリクスを成功裏に生成し、細分化されたユーザー制御を可能にした。
• ベクトルベースのスケッチは、高レベルの抽象化においても意味的整合性と構造的一致性を維持している。
• CLIP-ViTの中間層の使用により、幾何的正確性から意味的抽象化まで効果的な忠実度軸の制御が可能になった。
• 訓練済みMLPによる段階的単純化は、CLIPassoのような独立最適化手法と比較して、抽象化レベル間の遷移が滑らかである。
• 比較評価では、複数の物体や詳細な背景を有する複雑なシーンにおいても、優れた視覚的品質と整合性を示した。
• 特にシーン分解を適用した場合、本手法はCLIPassoや他のベースライン手法を定量的および定性的に上回った。