[論文レビュー] Differentiable Drawing and Sketching

Daniela Mihai, Jonathon Hare|arXiv (Cornell University)|Mar 30, 2021

Advanced Vision and Imaging参考文献 36被引用数 9

ひとこと要約

本稿では、距離変換を用いた画素レンダリングの再定式化と、それを端末学習に向けた緩和化によって、点、線、曲線といった描画プリミティブの微分可能ラスタライゼーション手法を提案する。このアプローチにより、画像からのスケッチの直接最適化や、手書き数字の教師なしベクタライゼーションが可能となり、下位から上位への物理的に妥当な構成フレームワークを通じて、微分可能ドローイングおよびスケッチタスクにおいて優れたパフォーマンスを示している。

ABSTRACT

We present a bottom-up differentiable relaxation of the process of drawing points, lines and curves into a pixel raster. Our approach arises from the observation that rasterising a pixel in an image given parameters of a primitive can be reformulated in terms of the primitive's distance transform, and then relaxed to allow the primitive's parameters to be learned. This relaxation allows end-to-end differentiable programs and deep networks to be learned and optimised and provides several building blocks that allow control over how a compositional drawing process is modelled. We emphasise the bottom-up nature of our proposed approach, which allows for drawing operations to be composed in ways that can mimic the physical reality of drawing rather than being tied to, for example, approaches in modern computer graphics. With the proposed approach we demonstrate how sketches can be generated by directly optimising against photographs and how auto-encoders can be built to transform rasterised handwritten digits into vectors without supervision. Extensive experimental results highlight the power of this approach under different modelling assumptions for drawing tasks.

研究の動機と目的

• 点、線、曲線などの描画プリミティブのラスタライゼーションを、微分可能で下位から上位のアプローチとして開発すること。
• 距離変換によるラスタライゼーションの緩和を用いて、スケッチのエンドツーエンド最適化を可能とすること。
• グラフィックスパイプラインの制約ではなく、物理的ドローイングの現実を反映する構成的ドローイングプロセスをモデル化すること。
• 写真を対象に最適化することでスケッチの生成と、手書き数字の教師なしベクタライゼーションを実証すること。
• ディープラーニングおよびビジョン応用分野における微分可能ドローイングの柔軟で学習可能な基盤を提供すること。

提案手法

• プリミティブの画素ラスタライゼーションを、その距離変換に基づく関数として再定式化し、微分可能性を実現すること。
• 距離変換を緩和することで、位置、角度、形状などのプリミティブパラメータの勾配ベース最適化を可能とすること。
• 微分可能で構成可能なメカニズムを用いて、実際のドローイングプロセスを模倣するようにプリミティブを積み重ねること。
• ニューラルネットワークに微分可能なプリミティブを統合し、エンドツーエンドの学習を可能とすること。
• 最適化ベースのスケッチ生成と、ラスタ画像のベクタ表現のオートエンコーディングの両方のタスクにフレームワークを適用すること。
• 微分可能性を活用して、教師なしのタスク（例：数字のベクタライゼーション）においてもモデルを訓練できること。

実験結果

リサーチクエスチョン

• RQ1 距離変換の幾何的緩和を用いることで、基本的な描画プリミティブのラスタライゼーションを微分可能にすることができるか？
• RQ2 微分可能なドローイングプリミティブをどのように組み合わせ、現実的でレイヤードなドローイングプロセスをモデル化できるか？
• RQ3 ターゲット画像に対する再構成誤差を直接最小化することで、スケッチのエンドツーエンド最適化を達成できるか？
• RQ4 教師なしオートエンコーダーが、微分可能なラスタライゼーションのみを用いて、手書き数字の意味のあるベクタ表現をどれだけ学習できるか？
• RQ5 従来のグラフィックスやニューラルレンダリングと比較して、下位から上位の幾何学的アプローチは、スケッチ関連タスクにおいてどの程度優れているか？

主な発見

• 提案された微分可能なラスタライゼーションにより、写真からの直接的スケッチ最適化が可能となり、現実的で詳細な線画が生成された。
• 微分可能なプリミティブを用いて訓練された教師なしオートエンコーダーは、ベクタラベルなしでMNIST数字のベクタ表現を効果的に再構成できた。
• この手法により、プリミティブパラメータがバックプロパゲーションにより最適化される深層ネットワークのエンドツーエンド学習が可能となった。
• フレームワークは、物理的ドローイング行動を反映する現実的なレイヤー構成とブレンドを可能とし、構成的ドローイングを実現した。
• 広範な実験により、異なるモデリング仮定にも一般化でき、スケッチ生成およびベクタライゼーションタスクで優れた結果を達成した。
• 距離変換の緩和により、線やコーナーのような滑らかでないプリミティブに対しても安定した勾配が得られた。