[논문 리뷰] From data to functa: Your data point is a function and you can treat it like one

Emilien Dupont, Hyunjik Kim외 3명|arXiv (Cornell University)|2022. 01. 28.

3D Shape Modeling and Analysis인용 수 23

한 줄 요약

논문은 functa라 불리는 프레임워크를 제안한다. 데이터 포인트를 작고 모듈레이션된 매개변수들로 표현된 암시적 신경 표현(INRs)으로 다루어, 이미지, 음영, NeRFs, 매니폴드 등 다양한 유형의 함수 위에서 직접 확장 가능한 딥러닝을 가능하게 하며, 대규모 functaset 데이터셋을 생성하는 메타러닝 파이프라인을 포함한다.

ABSTRACT

It is common practice in deep learning to represent a measurement of the world on a discrete grid, e.g. a 2D grid of pixels. However, the underlying signal represented by these measurements is often continuous, e.g. the scene depicted in an image. A powerful continuous alternative is then to represent these measurements using an implicit neural representation, a neural function trained to output the appropriate measurement value for any input spatial location. In this paper, we take this idea to its next level: what would it take to perform deep learning on these functions instead, treating them as data? In this context we refer to the data as functa, and propose a framework for deep learning on functa. This view presents a number of challenges around efficient conversion from data to functa, compact representation of functa, and effectively solving downstream tasks on functa. We outline a recipe to overcome these challenges and apply it to a wide range of data modalities including images, 3D shapes, neural radiance fields (NeRF) and data on manifolds. We demonstrate that this approach has various compelling properties across data modalities, in particular on the canonical tasks of generative modeling, data imputation, novel view synthesis and classification. Code: https://github.com/deepmind/functa

연구 동기 및 목표

• 연속 신호를 불연속 배열 대신 암시적 신경 표현(INRs)으로 표현하는 것을 동기화한다.
• 데이터-대-함수 변환을 Downstream 작업과 분리하여 INRs의 데이터셋인 functa를 도입한다.
• 다양한 모달리티에 걸친 대규모 functa 데이터셋 생성을 위한 모듈레이션과 메타러닝을 이용한 확장 가능한 방법을 제시한다.
• functa를 대상으로 한 하류 작업을 입증한다. 여기에는 생성 모델링, 데이터 보간, 새로운 시점 뷰 합성, 분류가 포함된다.

제안 방법

• 각 데이터 포인트를 좌표 및 특징에 대한 평균 제곱 오차를 최소화하도록 학습된 INR f_theta로 표현한다(식 1).
• 공유 기반 네트워크(SIREN)에 적용된 저차원 모듈레이션(이동 모듈레이션 및 잠재 모듈레이션)을 통해 INR을 매개화하여 functa를 얻는다.
• 메타러닝(MAML/CAVIA 스타일)을 사용하여 기본 네트워크 초기화를 학습한 다음, 각 데이터 포인트에 대한 모듈레이션을 소수의 그래디언트 스텝으로 적합시켜 대규모 functaset 데이터셋을 생성한다.
• 생성 작업에 대해 정규화 흐름(normalizing flows)과 확산 모델를 이용해 모듈레이션 벡터에서 직접 하류 모델을 학습시키고, 분류에는 간단한 MLP를 사용한다.
• 학습된 모듈레이션 선행분포와 재구성 손실을 결합한 MAP 추론으로 보간 및 새로운 시야 합성을 수행한다(식 2).
• 모델에서: 이미지(CelebA-HQ 64×64), 보셀(ShapeNet 64^3), NeRF 씬(SRN Cars), 매니폴드 데이터(ERA5 온도)에서 시연한다.

실험 결과

연구 질문

• RQ1 다양한 모달리티의 데이터 포인트가 효과적으로 INR로 표현되고 компакт한 모듈레이션(functa)으로 저장될 수 있는가?
• RQ2 데이터-함수 생성과 하류 학습을 분리하면 모달리티 간의 확장 가능한 생성 모델링, 보간, 시야 합성 및 분류가 가능해지는가?
• RQ3 모듈레이션 기반 표현과 전체 INR 파라미터 간의 재구성, 확장성 및 하류 작업 수행 하에서의 균형은 어떠한가?
• RQ4 메타러닝이 functa의 신속한 적합을 어떻게 촉진하고 대규모 데이터셋에 대한 한계는 무엇인가?

주요 결과

• functa는 해상도에 대해 불연속 배열보다 더 우아하게 확장되며 고해상도 및 가변 형태 데이터를 효율적으로 처리합니다.
• 256–512 차원의 모듈레이션은 시각적으로 근접한 재구성을 제공하지만 배열 표현보다 훨씬 작습니다.
• 기본 네트워크를 메타러닝하고 각 데이터 포인트의 모듈레이션을 몇 단계에서 적합시키면 이미지, 보셀, NeRF, 매니폴드 전반에서 정확한 functa를 얻을 수 있습니다.
• 모듈레이션을 통해 학습된 생성 모델(정규화 흐름 및 확산)을 사용하면 모달리티 간에 일관된 샘플을 생성할 수 있으며, prior-guided 추론으로 모듈레이션에서 NeRF 유사 장면을 추론하고 보간할 수 있습니다.
• 모듈레이션에 기반한 분류는 동등한 3D CNN보다 훨씬 적은 파라미터로도 경쟁력 있는 정확도를 달성합니다(예: ShapeNet 10 Classes: 93.6% vs 93.3%에 대해 83k vs 550k 파라미터).
• 프레임워크는 모듈레이션 선행분포와 재구성 손실( MAP 추론)을 최적화하여 보간 및 새로운 시야 합성과 같은 유연한 하류 작업을 가능하게 합니다.