[論文レビュー] BézierSketch: A generative model for scalable vector sketches

Ayan Das, Yongxin Yang+3 more|View|Jul 4, 2020

Generative Adversarial Networks and Image Synthesis参考文献 35被引用数 5

ひとこと要約

BézierSketchは、密集したウェイポイントではなくパラメトリックなBézier曲線としてスティルを表現することで、スケーラブルで高解像度のベクトルスケッチを生成する新しい生成モデルを提案する。BézierEncoderと呼ばれる微分可能で逆画像処理的な手法を導入し、実際のスケッチを滑らかな曲線に埋め込む。これにより、再帰的VAEベースの生成器（BézierSketch）が構築され、SketchRNNに比べてより長く、スケーラブルで高品質なスケッチを生成可能となり、Quick, Draw!ベンチマークにおいて定量的にも優れた結果を示した。

ABSTRACT

The study of neural generative models of human sketches is a fascinating contemporary modeling problem due to the links between sketch image generation and the human drawing process. The landmark SketchRNN provided breakthrough by sequentially generating sketches as a sequence of waypoints. However this leads to low-resolution image generation, and failure to model long sketches. In this paper we present BézierSketch, a novel generative model for fully vector sketches that are automatically scalable and high-resolution. To this end, we first introduce a novel inverse graphics approach to stroke embedding that trains an encoder to embed each stroke to its best fit Bézier curve. This enables us to treat sketches as short sequences of paramaterized strokes and thus train a recurrent sketch generator with greater capacity for longer sketches, while producing scalable high-resolution results. We report qualitative and quantitative results on the Quick, Draw! benchmark.

研究の動機と目的

• 密集したウェイポイント表現による制限により、SketchRNNが低解像度でスケーラブルでないスケッチを生成するという問題を解決する。
• ピクセルに揃ったウェイポイントではなく、パラメトリックなBézier曲線としてスケッチをモデル化することで、高解像度で完全にスケーラブルなベクトルグラフィックスの生成を可能にする。
• スティルレベルの表現を用いてBézier曲線のパラメータを活用することで、シーケンス長を短縮し、順序付きモデルの能力限界を克服する。
• 実際の人間のスケッチを解釈可能なBézier曲線の制御点にマップするための微分可能で可逆な符号化手法を開発し、エンド・ツー・エンドの学習を可能にする。
• Bézier曲線の幾何学的コンパクト性と滑らかさを活用することで、長時間のスケッチの生成品質とスケーラビリティを向上させる。

提案手法

• 実際のスケッチストロークを、それに最も適合するBézier曲線の制御点にマップするための、逆画像処理的な方法で学習されたニューラルネットワーク「BézierEncoder」を導入する。
• 制御点からストロークを再構築できるホワイトボックスのBézierデコーダーを用い、エンド・ツー・エンドの学習における微分可能な監視を可能にする。
• 各スケッチをウェイポイントではなく、Bézier曲線の制御点のシーケンスとして表現することで、シーケンス長を短縮し、より長いスケッチのモデリングを可能にする。
• 制御点の差分とペン状態フラグを入力トークンとして用い、双方向LSTMエンコーダーと自己回帰的LSTMデコーダーを備えたシーケンス・ツー・シーケンスVAEとしてBézierSketchを学習する。
• 制御点パラメータにガウス分布を導入することで、不確実性をモデル化し、確率的生成と多様性の向上を実現する。
• 再パラメータライゼーションと変分推論を用いてVAEの目的関数を最適化し、再構築損失、フラグビットの交差エントロピー、およびKLダイバージェンスを統合する。

実験結果

リサーチクエスチョン

• RQ1 微分可能な逆画像処理的手法は、実際の人間のスケッチストロークを解釈可能なBézier曲線パラメータに効果的に埋め込むことができるか？
• RQ2 Bézier曲線を用いたストロークレベルの表現により、ウェイポイントベースのモデルと比較して、高解像度で完全にスケーラブルなベクトル出力を得られるか？
• RQ3 Bézier制御点上で学習されたシーケンス・ツー・シーケンスVAEは、SketchRNNに比べてより長く、多様性があり、高品質なスケッチを生成できるか？
• RQ4 ズームインした際のスケッチのスケーラビリティと視覚的正確性は、Bézier曲線の使用によってどのように向上するか？
• RQ5 ベンチマークデータセットにおいて、FID、Fréchet Sketch Distance、および定性的な生成品質の観点から、本手法は既存のモデルをどの程度上回るか？

主な発見

• BézierSketchは、SketchRNNに比べて顕著に優れた視覚的品質とスケーラビリティを達成しており、高倍率でのズームイン時でも滑らかで明確なスケッチを維持する。
• モデルは、ピクセル化された線分ではなく滑らかなBézier曲線を生成することで、高解像度のベクトルグラフィックスを出力し、損失なしのスケーリングを可能にする。
• Bézier曲線表現の導入により、ウェイポイントシーケンスと比較してシーケンス長が桁違いに短縮され、モデルの能力を高め、より長いスケッチの生成が可能になった。
• Quick, Draw!ベンチマークにおける定量的評価では、実スケッチとの分布の整合性が向上したFréchet Sketch Distance（FSD）とFIDスコアが得られた。
• BézierEncoderは、実スケッチストロークを正確なBézier曲線近似にマッピングする能力を学習しており、トレーニング中の可視化では最適なフィットに収束していることが確認された。
• ガウス分布に従う制御点を用いた確率的生成により、多様性がありながらも一貫性のあるスケッチが生成され、モデルがスケッチのばらつきを的確に捉えていることが示された。