[論文レビュー] Drawing out of Distribution with Neuro-Symbolic Generative Models

Yichao Liang, Joshua B. Tenenbaum+2 more|arXiv (Cornell University)|Jun 3, 2022

Handwritten Text Recognition Techniques被引用数 4

ひとこと要約

DooD は、微分可能レンダリングとアンモタイズド推論を用いた記号的ストロークモデルを備えた神経記号的生成モデルであり、raw画像から直接、汎用的で解釈可能なストロークベースの図形表現を学習する。このモデルは、教師なしやテスト時最適化を必要とせず、データセット間で最先端のゼロショット一般化を達成し、1ショット分類および生成タスクにおいても競争力ある性能を示す。

ABSTRACT

Learning general-purpose representations from perceptual inputs is a hallmark of human intelligence. For example, people can write out numbers or characters, or even draw doodles, by characterizing these tasks as different instantiations of the same generic underlying process -- compositional arrangements of different forms of pen strokes. Crucially, learning to do one task, say writing, implies reasonable competence at another, say drawing, on account of this shared process. We present Drawing out of Distribution (DooD), a neuro-symbolic generative model of stroke-based drawing that can learn such general-purpose representations. In contrast to prior work, DooD operates directly on images, requires no supervision or expensive test-time inference, and performs unsupervised amortised inference with a symbolic stroke model that better enables both interpretability and generalization. We evaluate DooD on its ability to generalise across both data and tasks. We first perform zero-shot transfer from one dataset (e.g. MNIST) to another (e.g. Quickdraw), across five different datasets, and show that DooD clearly outperforms different baselines. An analysis of the learnt representations further highlights the benefits of adopting a symbolic stroke model. We then adopt a subset of the Omniglot challenge tasks, and evaluate its ability to generate new exemplars (both unconditionally and conditionally), and perform one-shot classification, showing that DooD matches the state of the art. Taken together, we demonstrate that DooD does indeed capture general-purpose representations across both data and task, and takes a further step towards building general and robust concept-learning systems.

研究の動機と目的

• ストロークベースの図形の汎用的で解釈可能な表現を開発し、データおよびタスク間での転送を可能にする。
• 純粋なニューラルモデルや記号的モデルの限界を克服するため、微分可能レンダリングと記号的ストローク構成を組み合わせる。
• 教師なしで、テスト時最適化を必要とせず、直接画像からアンモタイズド推論を可能にする。
• MNIST、QuickDraw、Omniglotといった多様なデータセット間で、強力なゼロショット一般化を実証する。
• 1つの統合モデルを用いて、教師なしまたは教師ありのない状況下で、少数ショット分類および無条件／条件付き生成タスクで競争力ある性能を達成する。

提案手法

• モデルは、自己回帰的RNNを用いて、順次にストロークの位置（lt）、パラメータ（st）、ストップ信号（ot）を生成する生成プロセスを採用する。
• 各ストロークは、微分可能なスプラインベースレンダラ（δR）を用いてレンダリングされ、アルファ合成により進行中のキャンバス（x<t）に合成される。
• 認識モデルは、画像の残差（∆xt = x − x<t）を条件として用いることで、次の描画ステップを予測するアンモタイズド推論を実行する。
• 変分推論フレームワークを採用し、下界（ELBO）を最適化するが、離散的ストップ変数に対してNVILの制御変数を用いて訓練する。
• 階層的タイプ・トークン構造により、新しいエグジザンプルの生成とOmniglotにおける1ショット分類が可能になる。
• 空間変換ネットワーク（STNs）により、正確なストローク配置とレンダリングが微分可能になる。

実験結果

リサーチクエスチョン

• RQ1 MNIST などの1つのデータセットで訓練された神経記号的モデルが、微調整なしに分布外のデータセット（例：QuickDraw や Omniglot）に一般化できるか？
• RQ2 純粋なニューラル代替手法と比較して、記号的ストロークモデルは解釈性および一般化性をどの程度向上させるか？
• RQ3 モデルは、高品質な生成および再構成を維持しながら、データセット間でゼロショット転送を効果的に行えるか？
• RQ4 教師なしやデータ拡張なしで、少数ショット分類および無条件／条件付き生成タスクで競争力ある性能を達成できるか？
• RQ5 MCMCベースの推論と比較して、記号的ストロークモデルとアンモタイズド推論を組み合わせたアプローチは、効率性および正確性の面で優れているか？

主な発見

• DooD は、MNIST から QuickDraw への転送を含む5つのデータセット間で、ベースラインを顕著に上回るゼロショット転送性能を示し、強力なデータ一般化を実証した。
• Omniglotにおける1ショット分類タスクで、追加の教師信号やデータ拡張を必要とせず、先行する神経記号的モデルを同等または上回る最先端の性能を達成した。
• DooD は、無条件および条件付き生成の両方において、現実的で明確でアーティファクトのない画像を生成し、しばしばぼやけた出力を生成する従来の深層生成モデルを上回った。
• 記号的ストロークモデルにより、形状部品の解釈可能な分離が可能であり、潜在空間における構成的構造が明確に可視化された。
• 認識モデルによるアンモタイズド推論により、MCMCサンプリングに類似した高コストな計算を必要とせず、高速かつスケーラブルな推論が可能になった。
• MNIST から Omniglot への一般化は、段階的なストローク合成により、高精度で複雑な文字を再構成する能力を有していた。