[論文レビュー] Unsupervised Image to Sequence Translation with Canvas-Drawer Networks

Kevin Frans, Chin-Yi Cheng|arXiv (Cornell University)|Sep 21, 2018

Advanced Vision and Imaging参考文献 11被引用数 11

ひとこと要約

本稿では、教師なし画像からシーケンスへの翻訳を可能にするキャンバスドローワーフレームワークを提案する。非微分可能レンダラを近似する微分可能キャンバスネットワークを訓練することで、ペアデータが不要な状況下でも、ドローネットワークのエンドツーエンド学習を可能にし、解釈可能な高レベルのシーケンス（例：ブラシストローク、長方形）をピクセル画像から生成する。本手法は、MNISTの数字、床図、3Dシーンを高精度かつ一般化性能を備えて、構造的なシーケンスに翻訳することに成功した。

ABSTRACT

Encoding images as a series of high-level constructs, such as brush strokes or discrete shapes, can often be key to both human and machine understanding. In many cases, however, data is only available in pixel form. We present a method for generating images directly in a high-level domain (e.g. brush strokes), without the need for real pairwise data. Specifically, we train a "canvas" network to imitate the mapping of high-level constructs to pixels, followed by a high-level "drawing" network which is optimized through this mapping towards solving a desired image recreation or translation task. We successfully discover sequential vector representations of symbols, large sketches, and 3D objects, utilizing only pixel data. We display applications of our method in image segmentation, and present several ablation studies comparing various configurations.

研究の動機と目的

• ペアデータを必要とせずに、ピクセル画像から解釈可能な高レベルのシーケンス（例：ブラシストローク、長方形）への翻訳を可能にすること。
• 実際の画像-シーケンスペアが入手困難または収集に高コストがかかる状況下で、シーケンス生成モデルを訓練する課題に対処すること。
• 非微分可能レンダリングプログラム（例：デジタルペインティングソフトウェア、3Dエンジン）の微分可能近似を構築し、勾配ベース最適化を可能にすること。
• スライディングおよび階層的アーキテクチャを用いて、高解像度画像および複雑なシーケンスへのスケーリングを実現すること。
• 2Dスケッチ、カラーベクトルドローイング、建築図面、3Dシーン再構築など、多様な分野への適用可能性を示すこと。

提案手法

• 実際のレンダリングプログラムからサンプリングされた状態-行動ペアのロールアウトから学習することで、キャンバスネットワークが非微分可能レンダラの挙動を模倣する。
• キャンバスネットワークはレンダラの微分可能代替物を提供し、レンダリングプロセスを逆伝播可能にすることでドローネットワークの訓練を可能にする。
• ドローネットワークは、ベジェ曲線や長方形配置などの高レベルのアクションのシーケンスを生成し、それがキャンバスネットワークを通じてターゲットピクセル画像を再構築する。
• スライディングウィンドウおよび階層的アーキテクチャを導入することで、高解像度画像（例：512×512）および長いアクションシーケンスへのスケーリングを実現する。
• 生成画像（キャンバスネットワーク経由）とターゲット画像との間のピクセルレベルの再構成損失を最小化することで、フレームワークをエンドツーエンドで訓練する。
• ドローネットワークを微分可能ポリシーとして用い、キャンバス再構築画像とターゲット画像とのピクセル距離を最小化することで翻訳タスクに適用する。

実験結果

リサーチクエスチョン

• RQ1 微分可能キャンバスネットワークは、非微分可能レンダラを効果的に近似できるか。これにより、シーケンス生成ドローネットワークのエンドツーエンド学習が可能になるか。
• RQ2 トレーニング時に見なかった分布外の画像に対し、キャンパスドローワーフレームワークはどの程度一般化できるか。
• RQ3 スライディングおよび階層的アーキテクチャを用いることで、高解像度画像および長いシーケンスへのスケーリングが可能か。
• RQ4 グレースケールMNISTの数字をペアデータなしで色付きベジェ曲線に変換するゼロショット翻訳タスクにおいて、本手法はどの程度有効か。
• RQ5 ペアデータが不要な状況下でも、2D観測から3D長方形ピラミッドを生成することで、3Dドメインへの拡張が可能か。

主な発見

• キャンパスドローワーフレームワークは、ペアデータが不要な状況下でも、グレースケールMNISTの数字を色付きベジェ曲線シーケンスに正確に翻訳することができ、色および形状の再現が正確であった。
• 未学習の文字やスケッチなどの分布外例に対しても良好な一般化性能を示しており、ロバストネスおよび分離表現学習の有効性が裏付けられた。
• 建築図面の文脈では、ドローネットワークが解釈可能なパラメトリックなボクシングボックスセグメンテーションを生成し、ターゲットピクセルレイアウトと高い整合性を示した。
• 3D再構築の文脈では、3つの2D直交視点からのピクセルデータのみを用いて、3D長方形ピラミッドを正確に回復できた。
• アブレーションスタディの結果、描画ステップ数の増加および階層的アーキテクチャの使用が、再構成品質および一般化性能の向上に寄与することが示された。
• 特にベクトルドローイングや部屋セグメンテーションなど、構造的かつ人間が読み取り可能な出力を必要とするタスクにおいて、本手法はベースライン手法を上回る安定性と解釈可能性を示した。