[論文レビュー] Teaching GANs to Sketch in Vector Format

V Varshaneya, S. Balasubramanian+1 more|arXiv (Cornell University)|Apr 7, 2019

Computer Graphics and Visualization Techniques参考文献 30被引用数 7

ひとこと要約

本論文は、混合連続的（オフセット）および離散的（ペン状態）出力を扱うために方策勾配を用いることで、高品質なベクタ形式のスケッチを生成する新しいGANアーキテクチャ、SkeGANを提案する。また、VAE-GANハイブリッド型のVASkeGANも提案する。主な貢献は、Ske-scoreという新しい評価指標の導入と、敵対的損失と方策勾配損失（重み1.0）を組み合わせることで「なぞり効果」が解消され、視覚的に優れた自然なスケッチが得られ、VAE-GANベースラインよりも高速に学習が収束することの実証である。

ABSTRACT

Sketching is more fundamental to human cognition than speech. Deep Neural Networks (DNNs) have achieved the state-of-the-art in speech-related tasks but have not made significant development in generating stroke-based sketches a.k.a sketches in vector format. Though there are Variational Auto Encoders (VAEs) for generating sketches in vector format, there is no Generative Adversarial Network (GAN) architecture for the same. In this paper, we propose a standalone GAN architecture SkeGAN and a VAE-GAN architecture VASkeGAN, for sketch generation in vector format. SkeGAN is a stochastic policy in Reinforcement Learning (RL), capable of generating both multidimensional continuous and discrete outputs. VASkeGAN hybridizes a VAE and a GAN, in order to couple the efficient representation of data by VAE with the powerful generating capabilities of a GAN, to produce visually appealing sketches. We also propose a new metric called the Ske-score which quantifies the quality of vector sketches. We have validated that SkeGAN and VASkeGAN generate visually appealing sketches by using Human Turing Test and Ske-score.

研究の動機と目的

• スケッチベースのベクタスケッチ生成に特化したGANベースのアーキテクチャが不足している問題に対処する。これは人間の認知に根ざしており、連続的および離散的出力（オフセットとペン状態）を必要とする。
• ベクタスケッチ生成における離散的ペン状態への勾配逆伝播の困難さを、方策勾配法を用いて克服する。
• 生成されたベクタスケッチの品質を定量的に評価するための新しい評価指標、Ske-scoreを提案する。
• 敵対的損失と方策勾配損失を組み合わせることで、先行するVAEベースのモデルと比較して視覚的に優れたスケッチが得られ、「なぞり効果」が軽減されることを実証する。
• 視覚的品質を維持または向上させながら、VAE-GANベースラインよりも高速に収束する学習を達成する。

提案手法

• 2次元連続的オフセットと3次元離散的ペン状態の確率的生成をモデル化するため、方策勾配を用いるスタンドアロンのGAN、SkeGANを提案する。
• スケッチ作成中のオフセットがペン状態遷移に与える影響をモデル化するための新しいカップリング機構をSkeGANに導入する。
• VAEの効率的な潜在表現とGANの識別力の両方を組み合わせることで、より優れたサンプル品質を実現する、VAE-GANハイブリッド型のVASkeGANを設計する。
• 人間の評価と実スケッチとの構造的類似性に基づき、ベクタスケッチの知覚的品質を定量的に評価するSke-score指標を開発する。
• 敵対的損失と方策勾配損失をバランスよく組み合わせた損失関数でSkeGANを学習し、最適な重み付けを特定するためのハイパーパramータのアブレーションを実施する。
• 両モデルにGRUおよびLSTMベースの識別器を用い、スケッチカテゴリごとに最良の識別器アーキテクチャを選定するためのアブレーションスタディを実施する。

Figure 1: Scribble effect of [ 11 ] with yoga pose sketches (left) and mosquito sketches (right).

実験結果

リサーチクエスチョン

• RQ1 VAEに依存せずに、混合連続的および離散的出力（オフセットとペン状態）を持つ高品質なベクタスケッチを効果的に生成できるGANベースのアーキテクチャは存在するか？
• RQ2 敵対的学習に方策勾配損失を統合することで、生成スケッチの視覚的品質および構造的整合性はどのように変化するか？
• RQ3 提案されたSke-score指標は、人間のスケッチ品質への認識とどの程度相関しているか？
• RQ4 最良の視覚的品質と学習安定性のトレードオフを実現するためのハイパーパramータ設定（例：損失重み）は何か？
• RQ5 サンプル品質および学習効率の両面で、SkeGANはVASkeGANを上回っているか？

主な発見

• SkeGANはVASkeGANと比較して、はっきりとした、より自然で芸術的なスティックを生成し、実際の人間が描いたスケッチに類似している。
• 方策勾配損失と敵対的損失の最適な重みは両者とも1.0であり、この設定がSke-scoreを最大化し、「なぞり効果」を最小限に抑える。
• 方策勾配損失の重みが高くなるほどSke-scoreが上昇し、実データセットのSke-scoreに近い値（ネコ：0.18 ± 0.07、消火車：0.12 ± 0.05）を示すことは、「なぞり効果」の有効な低減を示している。
• VASkeGANでは、KL正則化損失の重み（w_KL = 0.25, 0.5, 1.0）を変更してもSke-scoreに顕著な改善が見られず、w_KLとスケッチ品質との間に相関がないことが示された。
• SkeGANはVAE-GANベースライン（200,000イテレーションで33.33時間）よりも高速に収束し、9.88～19.77時間で学習完了を達成した。これは、より効率的な勾配更新によるものである。
• LSTM識別器はほとんどのカテゴリでGRUを上回ったが、「消火車」ではGRUがより優れており、識別器選択がスケッチカテゴリに敏感であることが示された。

Figure 2: Generator (Left) and Discriminator (Right) of SkeGAN