[論文レビュー] LPaintB: Learning to Paint from Self-Supervision

Biao Jia, Jonathan Brandt+3 more|arXiv (Cornell University)|Jun 17, 2019

Generative Adversarial Networks and Image Synthesis参考文献 39被引用数 4

ひとこと要約

LPaintB は、自己教師あり学習とプロキシマルポリシー最適化（PPO）を組み合わせることで、ブラシストロークを用いて参照画像を再現する強化学習ベースのペインティングエージェントを提案する。失敗したロールアウトの最終状態を再利用することで、正例データを自動的に生成し、学習から始めることに比べて、サンプル効率と性能を顕著に向上させ、1000×800 の画像に対して 20,000 ストロークで、GTX 1080 GPU で 30 秒未満で高品質な結果を達成する。

ABSTRACT

We present a novel reinforcement learning-based natural media painting algorithm. Our goal is to reproduce a reference image using brush strokes and we encode the objective through observations. Our formulation takes into account that the distribution of the reward in the action space is sparse and training a reinforcement learning algorithm from scratch can be difficult. We present an approach that combines self-supervised learning and reinforcement learning to effectively transfer negative samples into positive ones and change the reward distribution. We demonstrate the benefits of our painting agent to reproduce reference images with brush strokes. The training phase takes about one hour and the runtime algorithm takes about 30 seconds on a GTX1080 GPU reproducing a 1000x800 image with 20,000 strokes.

研究の動機と目的

• 参照画像をペイントするためのペインティングエージェントを、ターゲット画像とペアのヒューマンストロークデータを一切使用せずに学習可能にする。
• 自然メディアペイントにおける強化学習のスパarsな報酬信号の課題に対処し、サンプル効率を向上させる。
• エキスパートがアノテートしたアクションシーケンスを必要とせず、未観測のスタイルや画像に一般化可能であることを実現する。
• 高価なヒューマンアノテートデータセットへの依存を減らし、失敗したロールアウトから自己教師ありデータ収集を活用する。
• 自己教師ありと強化学習のハイブリッドフレームワークにより、トレーニングを加速し、ポリシー性能を向上させる。

提案手法

• 観測値に現在のレンダリングとターゲット参照画像の両方を符号化するプロキシマルポリシー最適化（PPO）を用いる。
• 失敗したロールアウトの最終状態を正例として再利用する自己教師ありデータ収集メカニズムを導入し、ゴール状態を最終レンダリングに置き換える。
• 行動空間は連続的であり、ブラシパラメータ（位置、方向、長さ、サイズ）で定義される。
• トレーニングフェーズでは、ペアのヒューマンストロークデータを一切使用せず、失敗したロールアウトから生成された自己教師ありデータに依存する。
• ポリシーネットワークは自己教師ありデータと強化学習の両方を用いてファインチューニングされ、収束が速く、性能が向上する。
• 効率的なレンダリングシステムにより、訓練済みエージェントを用いてリアルタイムで高解像度のストロークベースのペインティングを生成する。

実験結果

リサーチクエスチョン

• RQ1 ペアのヒューマンストロークアノテーションがなくても、自己教師あり学習が自然メディアペイントにおける強化学習の正例データを効果的に生成できるか？
• RQ2 自己教師ありデータ収集と強化学習を組み合わせることで、学習から始めることに比べて、サンプル効率とポリシー性能がどのように向上するか？
• RQ3 訓練済みエージェントが未観測の参照画像や異なる芸術的スタイルにどの程度一般化できるか？
• RQ4 事前に学習された強化学習ベースのペイントエージェントと比較して、本手法のパフォーマンスと効率性はどの程度か？
• RQ5 自己教師ありデータの分布が、生成されたペインティングの一般化性能と視覚的品質にどのような影響を与えるか？

主な発見

• 自己教師ありと強化学習を組み合わせたフレームワークは、ベンチマーク2（白いキャンバスからの再現）で累積報酬 61.13 を達成し、強化学習のみ（26.33）や自己教師ありのみ（30.79）を著しく上回った。
• 高解像度画像再構成において、LPaintB は PaintBot [JFB*19] と比較して L₂ 損失が 1485 と低く、画像の忠実度が優れていることを示した。
• GTX 1080 GPU で、1000×800 の画像に 20,000 ストロークを用いた場合、トレーニング時間を約 1 時間、推論時間を約 30 秒に短縮した。
• 学習曲線から、自己教師あり学習を用いることで収束が早く、性能が高くなることが確認され、サンプル効率の向上が裏付けられた。
• ペアのヒューマンストロークデータを一切使用せずに、視覚的に魅力的なペインティングを効果的に生成でき、未観測の画像へのゼロショット一般化が成功した。
• 改善は見られたが、高コントラスト領域では生成画像が多少ぼやける傾向にあり、報酬設計の最適化や高解像度の監視を強化する必要があることが示唆された。