[論文レビュー] Neurally-Guided Procedural Models: Amortized Inference for Procedural Graphics Programs using Neural Networks

Daniel Ritchie, Anna Thomas+2 more|arXiv (Cornell University)|Mar 19, 2016

Generative Adversarial Networks and Image Synthesis参考文献 35被引用数 25

ひとこと要約

本稿では、画像ベースの制約下で、神経ネットワークを用いて手続き的グラフィックスプログラムの効率的でアモアタイズド推論を学習する神経ネットワークで誘導される手続き的モデルを紹介する。SMCによって生成された例を用いて訓練することで、リアルタイムでランダム選択を誘導し、未誘導モデルに比べて最大10倍速く、粒子数を大幅に減らして高品質な結果を達成する。

ABSTRACT

Probabilistic inference algorithms such as Sequential Monte Carlo (SMC) provide powerful tools for constraining procedural models in computer graphics, but they require many samples to produce desirable results. In this paper, we show how to create procedural models which learn how to satisfy constraints. We augment procedural models with neural networks which control how the model makes random choices based on the output it has generated thus far. We call such models neurally-guided procedural models. As a pre-computation, we train these models to maximize the likelihood of example outputs generated via SMC. They are then used as efficient SMC importance samplers, generating high-quality results with very few samples. We evaluate our method on L-system-like models with image-based constraints. Given a desired quality threshold, neurally-guided models can generate satisfactory results up to 10x faster than unguided models.

研究の動機と目的

• 手続き的グラフィックスにおける確率的推論の高い計算コストに対処するため、効率的なサンプリング戦略を学習すること。
• 形状一致やスタイリッシュなデザインなどの複雑な制約下でも、インタラクティブで高品質な手続き的コンテンツ生成を可能にすること。
• 部分的な出力に基づいて手続き的モデルを誘導する神経ネットワークを訓練することで、推論をアモアタイズすること。
• 生成プロセス内で制約に起因する依存関係を直接学習することで、高価なサンプリングへの依存を減らすこと。

提案手法

• 現在の状態と部分的出力を条件としてランダム選択を行う神経ネットワークを手続き的モデルに追加する。
• 大規模なSMCによって生成された例の出力に基づき、最大尤度法を用いて神経ガイドを訓練する。
• 特に複雑な交差部で生じる多次元の不確実性をモデル化するため、混合密度ネットワークを用いる。
• 現在の位置と向きを処理する軽量で順方向の神経ネットワークアーキテクチャを設計し、次ステップのパラメータを予測する。
• 手続き的モデルの蓄積的性質（生成中に現在の位置が維持される）を活用し、文脈に配慮した効果的な誘導を可能にする。
• 訓練済みモデルを効率的なSMC重要度サンプラーとして適用し、必要な粒子数と計算時間を大幅に削減する。

実験結果

リサーチクエスチョン

• RQ1 画像ベースの制約下で、神経ネットワークを用いて手続き的グラフィックスモデルの効率的でアモアタイズド推論を学習できるか？
• RQ2 明示的な勾配計算なしで、神経ガイドが手続き的モデルの後験分布をどれほど正確に近似できるか？
• RQ3 アーキテクチャの選択（例：混合密度ネットワーク）が、複雑で多次元の制約空間でのパフォーマンスにどのように寄与するか？
• RQ4 このアモアタイズドフレームワークで安定的かつ高品質な推論を達成するには、どの程度の訓練例が必要か？
• RQ5 この手法により、目標の品質閾値に到達するためのSMC粒子数を大幅に削減できるか？

主な発見

• 神経ネットワークで誘導されたモデルは、未誘導モデルと同等の品質閾値に到達するが、粒子数を最大10倍減らし、計算時間も最大10倍短くする。
• 混合密度ネットワークの使用により、『t』の文字のような複雑な形状の交差部で、多次元の不確実性をモデル化し、パフォーマンスが向上する。
• おおよそ1,000件の訓練例を過ぎるとパフォーマンスが頭打ちになるため、1例あたりの高次元ランダム選択の影響を受けて、有効なデータサイズが大きいことが示唆される。
• 2,000件のSMC生成例（1例あたり600粒子）を用いた訓練には約10時間かかったが、モデルの訓練は2時間未塔で完了した。
• 回路のような設計制約の下では、誘導付きモデルは約3.5秒で結果を生成したのに対し、基準のSMCサンプルでは約70秒かかった。
• 本手法は形状一致を超えて、回路基板に似た密集したエッジ豊富なパターンを好むような他の尤度関数に対しても一般化可能である。