[논문 리뷰] Learned Initializations for Optimizing Coordinate-Based Neural Representations

Matthew Tancik, Ben Mildenhall외 5명|arXiv (Cornell University)|2020. 12. 03.

3D Shape Modeling and Analysis참고 문헌 30인용 수 15

한 줄 요약

이 논문은 이미지, CT 스캔, 3D 형태와 같은 신호를 표현할 때 좌표 기반 신경망의 초기 가중치를 메타학습(MAML 또는 Reptile 등)을 통해 학습시켜 최적화 속도를 향상시키고 일반화 성능을 향상시키는 방법을 제안한다. 얼굴이나 의자와 같은 특정 클래스의 신호 분포에서 학습함으로써 학습된 초기화는 강력한 사전 지식으로 작용하여 부분적 또는 단일 시점 관측에서도 더 빠른 수렴과 더 나은 재구성 성능를 가능하게 한다. 이는 3D 재구성 및 시각 합성 작업에서 PSNR 향상으로 입증되었다.

ABSTRACT

Coordinate-based neural representations have shown significant promise as an alternative to discrete, array-based representations for complex low dimensional signals. However, optimizing a coordinate-based network from randomly initialized weights for each new signal is inefficient. We propose applying standard meta-learning algorithms to learn the initial weight parameters for these fully-connected networks based on the underlying class of signals being represented (e.g., images of faces or 3D models of chairs). Despite requiring only a minor change in implementation, using these learned initial weights enables faster convergence during optimization and can serve as a strong prior over the signal class being modeled, resulting in better generalization when only partial observations of a given signal are available. We explore these benefits across a variety of tasks, including representing 2D images, reconstructing CT scans, and recovering 3D shapes and scenes from 2D image observations.

연구 동기 및 목표

• 각 새로운 신호에 대해 무작위 가중치에서 최적화하는 좌표 기반 신경망의 비효율성을 해결하기 위해.
• 신경 표현의 테스트 시점 최적화 동안 수렴 속도와 일반화 성능을 향상시키기 위해.
• 메타학습된 초기 가중치가 특정 클래스(예: 얼굴, 의자, CT 스캔)의 신호에 대해 강력한 사전 지식으로 기능할 수 있는지 탐색하기 위해.
• 이중 이미지 표현, CT 스캔 재구성, 2D 이미지에서의 3D 형태 복원과 같은 다양한 작업에 대해 방법을 평가하기 위해.
• 메타학습 시 클래스당 하나의 기준 이미지만 사용해도 효과적인 초기화가 가능함을 입증하기 위해.

제안 방법

• 메타학습 데이터셋에서 목표 클래스의 신호를 기반으로 최적화 기반 메타학습(MAML 또는 Reptile)을 적용하여 메타학습된 초기 가중치 θ₀*를 학습한다.
• 고정된 아키텍처를 가진 표준 좌표 기반 MLP를 사용하며, 입력은 좌표(예: 이미지의 경우 (x,y))이고 출력은 신호 값(예: RGB 색상)이다.
• 메타학습 중, 각 메타학습 데이터셋의 신호에서 내부 루프 최적화를 수행하여 θ₀*를 해당 신호에 맞게 적응시키고, 외부 루프 메타업데이트를 통해 θ₀*를 갱신한다.
• 메타학습 이후, 최적화된 θ₀*를 저장하고, 동일한 클래스의 새로운 미관측 신호에 대해 테스트 시점 최적화의 초기값으로 사용한다.
• 3D 재구성의 경우, 단순한 NeRF 모델을 사용하고, 학습된 초기화에서 시작하여 단일 또는 다중 시점 이미지에서 형태를 재구성한다.
• 보류된 시점 또는 테스트 이미지에서 PSNR와 같은 지표를 사용해 성능을 평가하며, 표준 무작위 초기화와 비교한다.

실험 결과

연구 질문

• RQ1 메타학습된 초기 가중치가 좌표 기반 신경 표현을 최적화하는 데 필요한 기울기 단계 수를 크게 줄일 수 있는가?
• RQ2 부분적 또는 단일 시점 관측만 존재할 때, 학습된 초기화가 일반화 성능을 향상시키는 강력한 사전 지식으로 작용하는가?
• RQ3 메타학습에 하나의 이미지만 사용하는 경우(SV Meta)와 다수의 시점(_mv_meta)을 사용하는 경우의 성능는 어떻게 다를까?
• RQ4 이 방법은 2D 이미지, 부피 데이터, 3D 시각 등 다양한 신호 유형으로 일반화 가능한가?
• RQ5 테스트 시점 최적화가 소수의 단계로 제한되어도, 메타학습된 초기화의 이점이 유지되는가?

주요 결과

• 메타학습된 초기 가중치(MV Meta)는 단일 이미지 3D 재구성에서 의자에 대해 PSNR 18.85, 자동차에 대해 22.80, 등에 대해 22.35를 기록하여 표준 무작위 초기화(12.49, 11.45, 15.47)보다 유의미하게 뛰어난 성능을 보였다.
• 메타학습 시 각 객체당 하나의 기준 이미지만 사용한 경우(SV Meta)에도 의자에 대해 PSNR 16.54, 자동차에 대해 22.10, 등에 대해 20.95를 기록하여 극소량의 데이터로도 강력한 일반화 성능를 입증하였다.
• 일관되지 않은 외관을 보이는 Phototourism 데이터셋에서, 메타학습된 모델은 Trevi(PSNR 19.35), Sacre Coeur(19.33), Brandenburg(19.11)에서 표준 NeRF에 비해 테스트 시점 최적화를 통해 PSNR를 뛰어넘었다(17.14–17.77).
• 메타학습된 가중치로 초기화된 단순한 NeRF 모델은 단일 이미지에서 3D 형태 복원에 성공했지만, 무작위 초기화된 네트워크는 동일한 조건에서 실패하였다.
• 64개의 내부 단계를 사용한 Reptile가 단일 내부 단계 기반 기준보다 성능이 뛰어나, 메타업데이트를 더 많이 전개하는 것이 성능 향상에 기여함을 시사했다.
• 학습된 초기화는 네트워크 아키텍처나 테스트 시점 최적화 절차를 수정하지 않고도 최적화 경로를 크게 향상시켜 수렴 시간을 단축시키고 재구성 품질을 향상시켰다.