[論文レビュー] Texture Generation with Neural Cellular Automata

Alexander Mordvintsev, Eyvind Niklasson+1 more|arXiv (Cornell University)|May 15, 2021

Cellular Automata and Applications参考文献 27被引用数 6

ひとこと要約

本稿では、1枚のテンプレート画像から局所的で微分可能な更新ルールを学習する神経細胞自動機（NCA）を用いた新しいテクスチャ生成手法を提案する。時間に沿ったバックプロパゲーションによりNCAを訓練することで、損傷に強く、新しいグリッドトポロジーに適応可能な高速で高精度なテクスチャ合成が実現され、自然なパターン形成を模倣する学習済みの分散アルゴリズムとしての有効性が示された。

ABSTRACT

Neural Cellular Automata (NCA) have shown a remarkable ability to learn the required rules to "grow" images, classify morphologies, segment images, as well as to do general computation such as path-finding. We believe the inductive prior they introduce lends itself to the generation of textures. Textures in the natural world are often generated by variants of locally interacting reaction-diffusion systems. Human-made textures are likewise often generated in a local manner (textile weaving, for instance) or using rules with local dependencies (regular grids or geometric patterns). We demonstrate learning a texture generator from a single template image, with the generation method being embarrassingly parallel, exhibiting quick convergence and high fidelity of output, and requiring only some minimal assumptions around the underlying state manifold. Furthermore, we investigate properties of the learned models that are both useful and interesting, such as non-stationary dynamics and an inherent robustness to damage. Finally, we make qualitative claims that the behaviour exhibited by the NCA model is a learned, distributed, local algorithm to generate a texture, setting our method apart from existing work on texture generation. We discuss the advantages of such a paradigm.

研究の動機と目的

• 生物学的に妥当な、局所的に相互作用するシステムを用いて、1枚の例画像からテクスチャ生成手法を学習すること。
• 神経細胞自動機（NCA）が、自然なパターン形成を模倣する分散的でアルゴリズム的なプロセスをテクスチャ生成のために学習できるかどうかを調査すること。
• NCAモデルの構造的変更、例えばグリッドトポロジーの変更や細胞の損傷に対する耐障害性と適応性を調査すること。
• NCAに基づくテクスチャ生成が、下位の状態多様体に関する最小限の仮定で、高精度かつ高速収束を達成できることを示すこと。
• 学習されたNCAルールが、正方形グリッドやヘキサゴナルグリッドなど、異なる計算実装環境においても一般化できることを示すこと。

提案手法

• 本手法は、均一な細胞から成る2次元グリッドを用い、各細胞が局所的な近隣状態に基づいて共有される微分可能な更新ルールを適用する。
• 更新ルールは、生成された分布とターゲットテクスチャ分布の差を最小化する微分可能な損失関数を用いて、時間に沿ったバックプロパゲーションにより学習される。
• 局所的な空間微分（勾配とラプラシアン）は、固定された3x3畳み込みカーネル（ソーベルおよび9点ラプラシアン）を用いて計算され、各細胞のパーセプションベクトルを形成する。
• システムは非同期的に離散時間ステップにわたり進化し、状態ベクトルはパーセプションベクトルに適用される学習済み関数によって更新される。
• モデルは1枚の入力テクスチャ画像で訓練され、類似するテクスチャを高速かつ効率的に生成することを目的としている。
• トレーニング後の適応には、グリッドトポロジーの変更（例：正方形からヘキサゴナルに）や、ローカル勾配ベクトルの回転を介したテクスチャのベクトル場への投影が含まれ、再トレーニングは不要である。

実験結果

リサーチクエスチョン

• RQ1 神経細胞自動機（NCA）は、1枚の例画像から高精度なテクスチャを生成する局所的で微分可能なルールを学習できるか？
• RQ2 学習されたNCAルールは、単なるピixeL再構成ではなく、分散的でアルゴリズム的なプロセスとしての性質を示すか？
• RQ3 NCAモデルは、細胞の削除やグリッドトポロジーの変更といった構造的摂動に対してどれほど耐性を示すか？
• RQ4 再トレーニングなしに、非正方形グリッドや回転させた勾配フィールドといった新しい計算環境へ一般化できるか？
• RQ5 学習された動的挙動が、PDEに基づく反応拡散系にどの程度近いか？

主な発見

• NCAモデルは、1枚のテンプレート画像から高速に収束し、高精度なテクスチャ合成を実現しており、生成は並列性が著しく高く、効率的である。
• モデルは、個々の細胞やグループの削除といった損傷に対しても本質的に耐性を示し、一貫した方法でパターンが自己修復される。
• 学習されたNCAルールは、異なるグリッドトポロジーに一般化可能であり、適切な畳み込みカーネルを用いれば、同じルールが正方形グリッドとヘキサゴナルグリッドの両方でテクスチャを生成するのに成功している。
• ローカル勾配ベクトルを適用前に回転させることで、NCAは再トレーニングなしにテクスチャを任意のベクトル場に投影でき、強力なインダクティブバイアスと一般化能力を示している。
• 非定常な動的挙動と出現するパターンの一貫性から、NCAモデルは、標準的なGANや最適化ベースの手法とは異なり、分散的で局所的なアルゴリズムとしてのテクスチャ形成を学習していることが裏付けられている。
• トレーニングプロセスは、離散化された時間と空間においても、反応拡散系の族の中からPDEに類似したルールを効果的に同定しており、NCAが自然なパターン形成プロセスの微分可能近似である可能性を示唆している。