[논문 리뷰] Texture Generation with Neural Cellular Automata

Alexander Mordvintsev, Eyvind Niklasson외 1명|arXiv (Cornell University)|2021. 05. 15.

Cellular Automata and Applications참고 문헌 27인용 수 6

한 줄 요약

이 논문은 단일 템plate 이미지에서 국소적이고 미분 가능한 업데이트 규칙을 학습하는 신경 세포자기화(Neural Cellular Automata, NCA)를 사용한 새로운 텍스처 생성 방법을 제안한다. 시간에 따라 역전파를 통해 NCA를 훈련시킴으로써, 손상에 대한 내재된 강건성과 새로운 격자 구조에의 적응성을 갖춘 빠르고 고정밀도의 텍스처 합성을 달성하였으며, 자연스러운 패턴 형성과 유사한 분산 알고리즘을 학습한 것으로 나타났다.

ABSTRACT

Neural Cellular Automata (NCA) have shown a remarkable ability to learn the required rules to "grow" images, classify morphologies, segment images, as well as to do general computation such as path-finding. We believe the inductive prior they introduce lends itself to the generation of textures. Textures in the natural world are often generated by variants of locally interacting reaction-diffusion systems. Human-made textures are likewise often generated in a local manner (textile weaving, for instance) or using rules with local dependencies (regular grids or geometric patterns). We demonstrate learning a texture generator from a single template image, with the generation method being embarrassingly parallel, exhibiting quick convergence and high fidelity of output, and requiring only some minimal assumptions around the underlying state manifold. Furthermore, we investigate properties of the learned models that are both useful and interesting, such as non-stationary dynamics and an inherent robustness to damage. Finally, we make qualitative claims that the behaviour exhibited by the NCA model is a learned, distributed, local algorithm to generate a texture, setting our method apart from existing work on texture generation. We discuss the advantages of such a paradigm.

연구 동기 및 목표

• 단일 예시 이미지에서 학습하는 생물학적으로 타당한 국소 상호작용 시스템을 사용한 텍스처 생성 방법 개발.
• 신경 세포자기화가 자연스러운 패턴 형성과 유사한 분산 알고리즘 과정을 학습할 수 있는지 탐구.
• 세포 손상 또는 격자 구조 변화와 같은 구조적 변화에 대한 훈련된 NCA 모델의 강건성과 적응성 탐색.
• NCA 기반 텍스처 생성이 기저 상태 다양체에 대한 최소한의 가정으로 고정밀도 및 빠른 수렴을 달성할 수 있음을 보여주기.
• 학습된 NCA 규칙이 정사각형 격자와 같은 다양한 계산 환경에서 재사용 가능함을 보여주기 — 예를 들어 정사각형 격자와 육각형 격자

제안 방법

• 동일한 세포로 이루어진 2차원 격자에서 각 세포는 국소적 이웃 상태에 기반한 공통의 미분 가능한 업데이트 규칙을 적용한다.
• 업데이트 규칙은 생성된 텍스처 분포와 목표 텍스처 분포 간의 차이를 최소화하는 미분 가능한 손실 함수를 사용하여 시간에 따라 역전파를 통해 학습된다.
• 국소적 공간 도함수(기울기 및 라플라시안)는 고정된 3x3 컨볼루션 커널(Sobel 및 9점 라플라시안)을 사용하여 계산되며, 각 세포의 인지 벡터를 형성한다.
• 시스템은 이산 시간 단계 동안 비동기적으로 진화하며, 상태 벡터는 인지 벡터에 적용된 학습된 함수를 통해 업데이트된다.
• 모델은 단일 입력 텍스처 이미지에서 훈련되며, 유사한 텍스처를 신속하고 효율적으로 생성하는 것을 목표로 한다.
• 훈련 후 적응 조치로는 격자 구조를 변경(예: 정사각형에서 육각형으로)하거나, 재훈련 없이 국소 기울기 벡터를 회전시켜 텍스처를 벡터장에 투영할 수 있다.

실험 결과

연구 질문

• RQ1 신경 세포자기화는 단일 예시 이미지에서 고정밀도 텍스처를 생성할 수 있는 국소적이고 미분 가능한 규칙을 학습할 수 있는가?
• RQ2 학습된 NCA 규칙은 단순한 픽셀 재구성 외에 분산 알고리즘 과정의 특성을 보여주는가?
• RQ3 NCA 모델은 세포 삭제 또는 격자 구조 변화와 같은 구조적 교란에 얼마나 강건한가?
• RQ4 재훈련 없이도 NCA 모델이 비정사각형 격자 또는 기울기 벡터장이 기울인 환경과 같은 새로운 계산 환경에 일반화 가능한가?
• RQ5 학습된 NCA 다이내믹스가 얼마나 반응-확산 시스템의 PDE 기반 모델을 근사하는가?

주요 결과

• NCA 모델은 단일 템plate 이미지에서 빠른 수렴과 고정밀도 텍스처 합성을 달성하였으며, 생성 과정이 매우 병렬적이고 효율적이다.
• 모델은 개별 세포나 그룹의 삭제와 같은 손상에 대해 내재된 강건성을 보이며, 일관된 방식으로 패턴이 자가 복구된다.
• 학습된 NCA 규칙은 다양한 격자 구조로 일반화되며, 적절한 컨볼루션 커널을 사용하면 동일한 규칙이 정사각형 격자와 육각형 격자 양쪽에서 텍스처 생성에 성공한다.
• 국소 기울기 벡터를 적용하기 전에 회전시킴으로써, 재훈련 없이도 NCA가 임의의 벡터장에 텍스처를 투영할 수 있으며, 이는 강력한 인덕티브 바이어스와 일반화 능력을 보여준다.
• 비정적 역학과 부상 패턴의 공명성으로 인해, NCA 모델은 표준 GAN이나 최적화 기반 방법과는 다를 바 있는 분산적이고 국소적인 알고리즘을 학습한 것으로 나타났다.
• 훈련 과정은 이산적인 시간과 공간에서도 반응-확산 시스템의 가족 내에서 PDE 유사 규칙을 효과적으로 식별하였으며, 자연스러운 패턴 형성 과정의 미분 가능한 근사로 NCA가 가능함을 시사한다.