[논문 리뷰] Variational Neural Cellular Automata

Rasmus Palm, Mari Mar Duque외 2명|arXiv (Cornell University)|2022. 01. 28.

Cellular Automata and Applications인용 수 5

한 줄 요약

이 논문은 변동형 신경 세포 자동기계(VNCA)를 소개한다. VNCA는 변동형 오토인코더와 신경 세포 자동기계를 융합한 확률적 생성 모델로, 국소적 연결과 상호작용을 통해 자가조직화되는 성장 과정을 학습한다. 제한된 파라미터와 국소적 소통에도 불구하고 VNCA는 뛰어난 재구성 성능를 보이며, 다양한 생성 패턴을 학습하고, 외부 자극에 의해 손상된 상태에서도 안정된 흡인점에 도달해 복구하는 강력한 손상 복구 능력을 보인다.

ABSTRACT

In nature, the process of cellular growth and differentiation has lead to an amazing diversity of organisms -- algae, starfish, giant sequoia, tardigrades, and orcas are all created by the same generative process. Inspired by the incredible diversity of this biological generative process, we propose a generative model, the Variational Neural Cellular Automata (VNCA), which is loosely inspired by the biological processes of cellular growth and differentiation. Unlike previous related works, the VNCA is a proper probabilistic generative model, and we evaluate it according to best practices. We find that the VNCA learns to reconstruct samples well and that despite its relatively few parameters and simple local-only communication, the VNCA can learn to generate a large variety of output from information encoded in a common vector format. While there is a significant gap to the current state-of-the-art in terms of generative modeling performance, we show that the VNCA can learn a purely self-organizing generative process of data. Additionally, we show that the VNCA can learn a distribution of stable attractors that can recover from significant damage.

연구 동기 및 목표

• 생물학적 세포 성장과 분화를 모방한, 국소적이고 반복적인 계산을 통해 작동하는 생성 모델을 개발하는 것.
• 기존 신경 세포 자동기계(NCA) 연구에서 확률적 모델링의 부족 문제를 해결하는 것. 기존 연구는 일반적으로 가능도 추정이나 샘플링 기능이 없는 오토인코더로 기능하였다.
• 최선의 생성 모델링 관행을 적용하여 모델을 평가하는 것. 이는 가능도 계산과 최신 기법들과의 공정한 비교를 포함한다.
• 자기조직화되고 국소적으로 연결된 시스템이 동일한 잠재 코드로부터 다양한, 안정적이고 내구성 있는 생성 과정을 학습할 수 있는지 탐구하는 것.
• 유사 세포 분열을 모방한 세포 이중화 메커니즘이 생성 성능 및 계산 효율성에 미치는 영향을 조사하는 것.

제안 방법

• VNCA는 변동형 오토인코더 프레임워크를 사용하며, 디코더로 신경 세포 자동기계(NCA)를 활용한다. 잠재 코드 z0는 사전 분포 p(z)에서 샘플링되어 2×2 세포 상태 그리드를 초기화하는 데 사용된다.
• NCA는 국소적 이웃 규칙에 기반해 반복적으로 세포 상태를 업데이트하며, 백프로파게이션을 통해 학습된 파rameterized 업데이트 함수를 사용한다.
• 새로운 이중화 메커니즘이 도입되었으며, 이는 매 M단계마다 모든 세포가 복제되어 세포 분열을 모방하고, 그리드 전역에서 조기에 협력이 가능하도록 한다.
• 성장 과정의 최종 세포 상태는 가능도 분포 p(x|z)를 조건화하여 재구성과 가능도 추정이 가능하게 한다.
• 모델는 잠재 공간에 대해 약어화된 변동형 추론을 적용하여 엔드 투 엔드로 훈련되며, 증거 하한 경계(ELBO)를 사용한다.
• 두 가지 변형이 평가되었으며, 이중화 기반 VNCA는 더 뛰어난 생성 성능를 보였고, 비이중화 변형은 더 뛰어난 손상 복구 능력을 보였다.

실험 결과

연구 질문

• RQ1 국소적으로 연결된 반복적 시스템인 신경 세포 자동기계가 가능도 추정 및 샘플링 기능을 갖춘 적절한 확률적 생성 모델로 활용될 수 있는가?
• RQ2 유사 세포 분열을 모방한 이중화 메커니즘이 생성 모델링 성능 및 계산 효율성을 향상시키는가?
• RQ3 VNCA는 손상 복구에 효과적인 안정된 흡인점 상태를 학습할 수 있는가?
• RQ4 가능도 및 재구성 품질 측면에서 VNCA는 최신 기술 수준의 생성 모델들과 비교해 어떤가?
• RQ5 다양한 VNCA 아키텍처에서 생성 품질과 손상에 대한 내구성 간의 상충 관계는 어떠한가?

주요 결과

• MNIST에서 VNCA는 1차원당 4.98비트의 테스트 가능도를 달성하여, 측정 가능한 성능로 유효한 확률적 생성 모델임을 입증하였다.
• 이중화 변형은 비이중화 변형보다 생성 모델링 성능에서 뛰어나 더 높은 가능도와 더 빠른 훈련 속도를 기록하였다. 이는 조기에 전역적 협력이 가능했기 때문이다.
• 비이중화 변형은 더 안정된 흡인점 상태를 학습했으며, MNIST 및 CelebA 실험 모두에서 심각한 손상된 입력에서도 높은 정밀도로 원래 이미지를 복구하였다.
• VNCA는 동일한 잠재 코드에서 다양한 이미지 구조를 생성할 수 있었으며, 이는 데이터 분포의 핵심 패턴을 잘 포착하고 있음을 시사한다.
• 손상 복구 능력은 매우 효과적이었으며, 중증 손상된 입력에서도 원래 입력을 효과적으로 복구하였다. 이는 내부 표현이 강건하고 안정된 동역학을 가졌음을 시사한다.
• 희소 계산 덕분에 계산적으로 효율적이었으며, 특히 초기 성장 단계에서는 활성 세포만 업데이트되기 때문에, 제한된 파라미터에도 불구하고 확장성이 있었다.