[論文レビュー] Learning to Infer Graphics Programs from Hand-Drawn Images

Kevin Ellis, Daniel Ritchie+2 more|arXiv (Cornell University)|Jul 30, 2017

Software Engineering Research被引用数 49

ひとこと要約

この論文では、手書きスケッチを構造的な LATEX グラフィックスプログラムに変換するためのディープラーニングとプログラム合成のフレームワークを提示する。まず、アテンションを備えた畳み込みニューラルネットワークを用いて、描画コマンドの記号的仕様を推定し、その後、ループ、条件分岐、対称性を含む高レベルのプログラムを合成する。主な貢献は、プログラム合成を高速化する学習されたアンモタイズド推論アプローチであり、誤り訂正、プログラム構造を用いた類似度測定、繰り返しパターンの外挿が可能となる。

ABSTRACT

We introduce a model that learns to convert simple hand drawings into graphics programs written in a subset of \LaTeX. The model combines techniques from deep learning and program synthesis. We learn a convolutional neural network that proposes plausible drawing primitives that explain an image. These drawing primitives are like a trace of the set of primitive commands issued by a graphics program. We learn a model that uses program synthesis techniques to recover a graphics program from that trace. These programs have constructs like variable bindings, iterative loops, or simple kinds of conditionals. With a graphics program in hand, we can correct errors made by the deep network, measure similarity between drawings by use of similar high-level geometric structures, and extrapolate drawings. Taken together these results are a step towards agents that induce useful, human-readable programs from perceptual input.

研究の動機と目的

• 簡単な2次元の手書きスケッチから高レベルのグラフィックスプログラムを推定するシステムを開発すること。
• 視覚的入力（画像）と、ループや条件分岐などの構造を持つ記号的実行可能プログラムの間を埋める課題に取り組むこと。
• スケッチから構造的なプログラムを回復させることで、高レベルの画像編集と推論を可能にすること。
• ディープラーニングを用いたアンモタイズド推論により、プログラム合成の計算コストを低減すること。

提案手法

• 空間変換器を備えた畳み込みニューラルネットワークが、画像領域に注目し、以前に生成されたコマンドに条件づけられて、1つずつ描画コマンドを生成する。
• ネットワークは、16×16グリッド上の基本的な命令（例：線分、長方形、円）の分布を予測するために多層パーセプトロンを用いる。
• 入力画像から記号的仕様（仕様）を推定するために、逐次モンテカルロ法による確率的探索が用いられる。
• 制約ベースのプログラム合成エンジンが、推定された仕様から、ループ、条件分岐、対称性を含む高レベルのプログラムを再構築する。
• 学習されたニューラルネットワークが確率的探索を近似することで、アンモタイズド推論を達成し、高価なオンライン推論の必要性を低減する。
• 神経的認識と記号的推論を組み合わせることで、実行可能で人間が読みやすいグラフィックスプログラムを生成する。

実験結果

リサーチクエスチョン

• RQ1 ディープニューラルネットワークは、ノイズが多くて不正確な手書き画像から、描画コマンドの記号的仕様を効果的に推定できるか？
• RQ2 プログラム合成技術は、現実世界のスケッチからコードへの変換に実用的になるように、どのように高速化できるか？
• RQ3 学習されたプログラムは、単純なスケッチから、対称性や繰り返しといった高レベルの視覚的概念をどの程度捉えることができるか？
• RQ4 推定されたプログラムは、繰り返しパターンの外挿のような一貫性のある画像編集を可能にするか？
• RQ5 意味的構造を捉える観点で、プログラムレベルの類似度は画像レベルの類似度と比べてどの程度優れているか？

主な発見

• モデルは、高精度で手書き画像から記号的仕様を推定でき、その後続のプログラム合成を可能にした。
• 学習されたニューラルネットワークによるアンモタイズド推論の使用により、標準的な確率的探索と比較して、プログラム合成の計算コストが顕著に低減された。
• プログラムレベルの意味的整合性を活用することで、ニューラルネットワークが行う誤りを補正できる。
• プログラムレベルの類似度メトリクスは、対称性や繰り返しといった高レベルの幾何的構造を効果的に捉えており、意味的構造を捉える観点で画像レベルの類似度を上回った。
• 合成されたプログラムのループ境界を変更することで、元のスケッチよりも大規模で一貫性のあるバージョンの図を外挿的に生成できた。
• 実験の結果、モデルは新しいスケッチに対しても一般化でき、意図した視覚的構造を再現する実行可能で人間が読める LATEX グラフィックスプログラムを生成した。