[論文レビュー] Mastering Sketching: Adversarial Augmentation for Structured Prediction

Edgar Simo‐Serra, Satoshi Iizuka+1 more|arXiv (Cornell University)|Mar 27, 2017

Multimodal Machine Learning Applications被引用数 14

ひとこと要約

本稿では、スケッチ簡略化における構造予測のための敵対的増強を提案する。生成的敵対ネットワーク（GAN）フレームワークを用い、識別器が本物のスケッチと生成されたスケッチを区別することで、出力の現実性と一般化性能が向上する。この手法により、教師なしデータの有効活用が可能となり、『野生の状態』に存在する粗いスケッチにおいて最先端の性能を達成する。また、ペンタッチのスケッチ生成といった逆問題の対応も可能である。

ABSTRACT

We present an integral framework for training sketch simplification networks that convert challenging rough sketches into clean line drawings. Our approach augments a simplification network with a discriminator network, training both networks jointly so that the discriminator network discerns whether a line drawing is a real training data or the output of the simplification network, which in turn tries to fool it. This approach has two major advantages. First, because the discriminator network learns the structure in line drawings, it encourages the output sketches of the simplification network to be more similar in appearance to the training sketches. Second, we can also train the simplification network with additional unsupervised data, using the discriminator network as a substitute teacher. Thus, by adding only rough sketches without simplified line drawings, or only line drawings without the original rough sketches, we can improve the quality of the sketch simplification. We show how our framework can be used to train models that significantly outperform the state of the art in the sketch simplification task, despite using the same architecture for inference. We additionally present an approach to optimize for a single image, which improves accuracy at the cost of additional computation time. Finally, we show that, using the same framework, it is possible to train the network to perform the inverse problem, i.e., convert simple line sketches into pencil drawings, which is not possible using the standard mean squared error loss. We validate our framework with two user tests, where our approach is preferred to the state of the art in sketch simplification 92.3% of the time and obtains 1.2 more points on a scale of 1 to 5.

研究の動機と目的

• ペairドでアノテートされたスケッチデータで訓練されたスケッチ簡略化モデルの一般化性能の低さに起因する課題を解決すること。このデータは現実世界の粗いスケッチを反映していない。
• 訓練に未ラベルの粗いスケッチを組み込むことで、制約のない現実世界のスケッチ（『野生の状態』）におけるスケッチ簡略化の性能を向上させること。
• 標準的な平均二乗誤差損失では不可能な、綺麗な線画からパencilスケッチを生成する逆問題を可能にすること。
• 敵対的損失と平均二乗誤差を組み合わせることで、モード崩壊やアーティファクトを回避し、構造予測におけるGAN訓練を安定化させること。
• 推論時間の増加を犠牲にしても、難易度の高い個々のケースの精度を向上させるためのテスト時最適化手法を開発すること。

提案手法

• 完全畳み込み型スケッチ簡略化ネットワークを、本物（訓練データより）か生成物かを識別する識別器ネットワークと同時に訓練する。
• 簡略化ネットワークは、平均二乗誤差（MSE）損失と敵対的損失の両方を最小化するように最適化され、現実的で整合性のある出力を促進する。
• 教師なしデータ（対応する簡略化バージョンのない粗いスケッチ）は、識別器を本物のスケッチと生成スケッチの両方で訓練することで活用され、ハイブリッドな教師あり・教師なし学習が可能になる。
• フレームワークでは、識別器が入力の粗いスケッチではなく、出力の簡略化スケッチのみを観測するため、条件付きGANと比較して訓練の安定性が向上する。
• テスト時最適化手順として、敵対的損失を用いて単一の入力画像に対してネットワークを微調整する手法を導入し、難易度の高いケースの精度を向上させる。
• データの役割を逆転させることで、同じフレームワークを再訓練し、綺麗な線画からパencilスケッチを生成する逆問題に対応する。

実験結果

リサーチクエスチョン

• RQ1 標準的なMSEベースの学習と比較して、敵対的訓練がスケッチ簡略化出力の現実性と構造的整合性を向上させられるか？
• RQ2 『野生の状態』に存在する教師なしの粗いスケッチを、ペアラベルがなくても効果的に活用してモデルの一般化性能を向上させられるか？
• RQ3 提案されたフレームワークにより、標準的な損失では達成不可能な、綺麗な線画からパencilスケッチを生成する逆問題が可能になるか？
• RQ4 特にアーティファクト生成の観点から、条件付きGANと比較して、提案手法の訓練の安定性と出力品質はどのように異なるか？
• RQ5 テスト時最適化は、難易度の高い個々のスケッチの精度をさらに向上させられるか。また、推論時間の増加というトレードオフはどのようなものか？

主な発見

• 提案手法はスケッチ簡略化分野で最先端を上回り、ユーザースタディーでは92.3%の割合で好まれ、5段階スケールで1.2ポイント高いスコアを記録した。
• フレームワークにより、教師なしデータの有効活用が可能となり、追加のアノテーションを必要とせずに、現実世界の粗いスケッチにおける性能が著しく向上した。
• 敵対的増強を用いて訓練されたモデルは、標準的なMSEベースのモデルが特徴をぼやけさせたり歪ませたりするのとは対照的に、よりシャープで整合性のあるスケッチを生成した。
• 条件付きGANと比較して、提案手法は訓練中により安定しており、MSE損失による正則化のおかげでアーティファクトを回避した。
• テスト時最適化により、低コントラストスケッチなどの難易度の高いケースの精度が向上したが、推論時間の大幅な増加を伴った。
• 同じフレームワークは、綺麗な線画からパencilスケッチを生成する逆問題に対しても効果的に機能し、構造予測問題への広範な適用可能性を示した。