[論文レビュー] Learning to Sketch with Deep Q Networks and Demonstrated Strokes

Tao Zhou, Fang Chen+6 more|arXiv (Cornell University)|Oct 14, 2018

Human Pose and Action Recognition参考文献 20被引用数 22

ひとこと要約

本稿では、最初に教師あり学習による人間のストロークの模倣を通じて、その後に報酬に基づくフィードバックを用いた深層Q学習で性能を最適化する二段階の深層強化学習フレームワーク、Doodle-SDQを提案する。この手法は、複数のメディアタイプで多様で現実的な描画を効果的に生成でき、特に高次元の行動空間において、事前学習が最終的な性能を著しく向上させる。

ABSTRACT

Doodling is a useful and common intelligent skill that people can learn and master. In this work, we propose a two-stage learning framework to teach a machine to doodle in a simulated painting environment via Stroke Demonstration and deep Q-learning (SDQ). The developed system, Doodle-SDQ, generates a sequence of pen actions to reproduce a reference drawing and mimics the behavior of human painters. In the first stage, it learns to draw simple strokes by imitating in supervised fashion from a set of strokeaction pairs collected from artist paintings. In the second stage, it is challenged to draw real and more complex doodles without ground truth actions; thus, it is trained with Qlearning. Our experiments confirm that (1) doodling can be learned without direct stepby- step action supervision and (2) pretraining with stroke demonstration via supervised learning is important to improve performance. We further show that Doodle-SDQ is effective at producing plausible drawings in different media types, including sketch and watercolor.

研究の動機と目的

• 人工知能エージェントがシミュレーテッドペインティング環境で人間のダフリング行動を模倣できる機械学習フレームワークの開発。
• 芸術的生成におけるラベル付き行動データの限界を克服するため、教師あり学習と強化学習を組み合わせたハイブリッド学習アプローチを採用。
• 描画タスクに一般的に見られる高次元の行動空間において、ランダムな探索が無効である状況で、サンプル効率と訓練の安定性を向上。
• タスク固有の再トレーニングなしに、未観測の図柄やスケッチ・水彩画など複数のメディアタイプに一般化できるようにする。
• 複雑な描画環境における強化学習の成功に、ストロークレベルのデモンストレーションによる事前学習が不可欠であることを示すこと。

提案手法

• フレームワークは二段階のトレーニングプロセスを採用：最初に、人間のアーティストから収集したラベル付きストローク行動ペアを用いて、エージェントが簡単なストロークを再現する教師あり模倣フェーズを実施。
• 第二段階では、事前学習済みエージェントを、現在のキャンバスと参照図柄のL2類似度に基づく密集報酬信号を用いて深層Q学習でファインチューニング。
• 行動空間にはペンの状態（下ろし／上げ）、ペンの位置、色が含まれ、1ステップあたり約200の離散的行動が存在する大規模な行動空間となる。
• 大規模な行動空間における訓練の安定化のため、探索確率を低減し、グローバルストリーム（全体のキャンバスの文脈を処理）とローカルストリーム（ペンの直近周辺に注目）の二重ストリーム畳み込みネットワークを導入することで、位置決めの精度を向上。
• サンプル効率を向上させるために、経験再生と優先順位付き経験再生（PER）を採用。また、事前学習段階からの重み初期化により収束性が向上。
• 本システムは、黒白スケッチ、カラースケッチ、水彩画を含む複数のメディアタイプをサポートするシミュレーテッドペイントイング環境（SPE）で評価されている。

実験結果

リサーチクエスチョン

• RQ1 段階的行動監督なしに、深層強化学習エージェントは複雑なダフリングを再現できるか？
• RQ2 ストロークレベルのデモンストレーションによる事前学習は、描画タスクにおけるその後の強化学習性能をどの程度向上させるか？
• RQ3 提案された二重ストリームアーキテクチャは、高次元の行動空間における訓練の安定性と精度向上にどの程度有効か？
• RQ4 教師あり模倣とQ学習のハイブリッドアプローチは、未観測の図柄や多様なメディアタイプに一般化可能か？
• RQ5 行動空間が大規模で複雑な状況下で、探索の低減が訓練の安定化に果たす役割は何か？

主な発見

• ストロークデモンストレーションによる事前学習は、強化学習フェーズにおける最終的性能を著しく向上させる。最高性能のモデルは、QuickDrawデータセットで平均累積報酬320.5を達成した。
• 希少な探索と事前学習段階からの重み初期化を採用したモデルは、すべてのベースライン（QuickDrawデータへの直接ファインチューニング含む）を上回る性能を示し、二段階アプローチの有効性を裏付けた。
• 高探索確率のナイーブDQNは大規模な行動空間では収束しなかったが、事前学習後に探索を除去すると性能が著しく向上し、この状況下ではランダム探索が逆効果であることが示された。
• 二重ストリームアーキテクチャ、特にペンの直近領域に注目するローカルストリームが、成功した訓練に不可欠である。事前学習と探索低減があっても、ローカルストリームを削除すると訓練に失敗する。
• 未観測の図柄やメディアタイプへの一般化性能が高く、再トレーニングなしに妥当なスケッチおよび水彩描画を効果的に生成できた。
• スケッチからカラースケッチに移行する際、平均累積報酬が低下した。これは、行動空間の次元の増加が依然として課題であり、特に圧力や複数色の連続的行動への拡張において、今後の課題であることを示唆している。