[論文レビュー] Variational Neural Cellular Automata

Rasmus Palm, Mari Mar Duque+2 more|arXiv (Cornell University)|Jan 28, 2022

Cellular Automata and Applications被引用数 5

ひとこと要約

この論文では、変分オートエンコーダーとニューラルセルラー自動機を組み合わせた確率的生成モデルである変分ニューラルセルラー自動機（VNCA）を紹介する。このモデルは、局所的で接続された成長過程を自己組織的かつ生成的に行う。制限されたパラメータ数と局所的通信にもかかわらず、強力な再構成性能を発揮し、多様な生成パターンを学習し、摂動からの再生が可能なアトラクタに安定化することで、高い損傷回復性を示す。

ABSTRACT

In nature, the process of cellular growth and differentiation has lead to an amazing diversity of organisms -- algae, starfish, giant sequoia, tardigrades, and orcas are all created by the same generative process. Inspired by the incredible diversity of this biological generative process, we propose a generative model, the Variational Neural Cellular Automata (VNCA), which is loosely inspired by the biological processes of cellular growth and differentiation. Unlike previous related works, the VNCA is a proper probabilistic generative model, and we evaluate it according to best practices. We find that the VNCA learns to reconstruct samples well and that despite its relatively few parameters and simple local-only communication, the VNCA can learn to generate a large variety of output from information encoded in a common vector format. While there is a significant gap to the current state-of-the-art in terms of generative modeling performance, we show that the VNCA can learn a purely self-organizing generative process of data. Additionally, we show that the VNCA can learn a distribution of stable attractors that can recover from significant damage.

研究の動機と目的

• 生物学的細胞の成長と分化にインspiredされた生成モデルを開発し、局所的で反復的な計算によって動作すること。
• 従来のニューラルセルラー自動機（NCA）研究において、尤度推定やサンプリング能力が欠落しているという問題に対処すること。
• 生成モデルの最良実践に従って評価すること。尤度計算と最先端手法との公平な比較を含む。
• 自己組織的かつ局所的に接続されたシステムが、共通の潜在コードから多様で安定的かつ耐性のある生成プロセスを学習できるかを調査すること。
• ミトーシスにインspiredした細胞二重化が、生成性能と計算効率に与える影響を調査すること。

提案手法

• VNCAは、デコーダーがニューラルセルラー自動機（NCA）である変分オートエンコーダー枠組みを用いる。潜在コード z0 は事前分布 p(z) からサンプリングされ、2×2グリッドのセル状態を初期化する。
• NCAは、局所的近傍ルールに基づいて、バックプロパゲーションで学習されたパrameter化された更新関数を用いて、セル状態を反復的に更新する。
• 新規の二重化メカニズムが導入され、Mステップごとにすべてのセルが複製され、ミトーシスを模倣してグリッド全体の早期グローバル協調を可能にする。
• 成長プロセス終了時の最終セル状態が、尤度分布 p(x|z) の条件として用いられ、再構成と尤度推定が可能になる。
• モデルはエビデンス下界（ELBO）を用いてエンドツーエンドで訓練され、潜在空間にアモアタイズド変分推論が適用される。
• 2つのバリエーションが評価された：二重化を含むVNCAと非二重化のバージョン。前者はより優れた生成性能を示し、後者は優れた損傷回復性能を示した。

実験結果

リサーチクエスチョン

• RQ1 局所的で接続された反復的システム、例えばニューラルセルラー自動機を、尤度推定とサンプリング能力を備えた適切な確率的生成モデルにできるか？
• RQ2 ミトーシスにインspiredした二重化メカニズムは、生成モデリング性能と計算効率を向上させるか？
• RQ3 VNCAは、画像の効果的な損傷回復を可能にする安定したアトラクタ状態を学習できるか？
• RQ4 尤度と再構成品質の観点から、VNCAは最先端の生成モデルと比較してどうか？
• RQ5 異なるVNCAアーキテクチャにおいて、生成品質と損傷耐性のトレードオフは何か？

主な発見

• MNISTではテスト尤度が4.98ビット/次元を達成し、測定可能な性能を持つ有効な確率的生成モデルであることを示した。
• 二重化バージョンは非二重化バージョンを上回り、早期グローバル協調のおかげでより優れた尤度と高速な学習を達成した。
• 非二重化バージョンはより安定したアトラクタを学習し、MNISTおよびCelebAの両方の実験で顕著な損傷に対しても高い忠実度で回復した。
• 共通の潜在コードから多様な画像構造を生成できるため、データ分布のパターンを捉えていることが示された。
• 損傷回復は非常に効果的である：重度に損傷を与えた入力からも元の入力を回復でき、内部表現の強靭さと安定したダイナミクスを示唆している。
• 疎行列計算のおかげで計算が効率的である：特に初期成長段階ではアクティブなセルのみが更新されるため、パラメータ数が限られているにもかかわらずスケーラブルである。