[논문 리뷰] A Structured Dictionary Perspective on Implicit Neural Representations

Gizem Yüce, Guillermo Ortiz-Jiménez외 2명|arXiv (Cornell University)|2021. 12. 03.

Neural Networks and Applications인용 수 7

한 줄 요약

이 논문은 암묵적 신경 표현(INRs)을 이론적으로 분석하기 위해 구조적 사전 관점(structured dictionary perspective)을 도입하며, INRs가 초기 주파수의 정수 조화성분을 원소로 갖는 신호 사전(signal dictionary)처럼 작동함을 밝혀내고, 선형적 파rameter 증가에 비해 주파수 지원의 지수적 증가를 가능하게 한다. 또한 신경 미분 커널(NTK)의 고유함수들이 사전 원소로 작용하며, 메타학습이 메타학습 데이터로부터 더 풍부한 사전을 학습함으로써 재구성 효율성을 향상시킴을 보여준다.

ABSTRACT

Implicit neural representations (INRs) have recently emerged as a promising alternative to classical discretized representations of signals. Nevertheless, despite their practical success, we still do not understand how INRs represent signals. We propose a novel unified perspective to theoretically analyse INRs. Leveraging results from harmonic analysis and deep learning theory, we show that most INR families are analogous to structured signal dictionaries whose atoms are integer harmonics of the set of initial mapping frequencies. This structure allows INRs to express signals with an exponentially increasing frequency support using a number of parameters that only grows linearly with depth. We also explore the inductive bias of INRs exploiting recent results about the empirical neural tangent kernel (NTK). Specifically, we show that the eigenfunctions of the NTK can be seen as dictionary atoms whose inner product with the target signal determines the final performance of their reconstruction. In this regard, we reveal that meta-learning has a reshaping effect on the NTK analogous to dictionary learning, building dictionary atoms as a combination of the examples seen during meta-training. Our results permit to design and tune novel INR architectures, but can also be of interest for the wider deep learning theory community.

연구 동기 및 목표

• 암묵적 신경 표현(INRs)의 성공과 한계를 이론적으로 이해하기 위해
• 조화 분석과 신호 사전 기반의 단일 이론적 프레임워크로 다양한 INR 아키텍처를 통합하기 위해
• 실증적 신경 미분 커널(NTK)과 그 고유함수를 사용해 INRs의 인덕티브 바이어스를 특성화하기 위해
• 메타학습이 NTK를 더 효율적인 신호 사전으로 재구성함으로써 INR 성능을 향상시키는 방식을 설명하기 위해

제안 방법

• 각 INR 레이어가 입력을 고차 조화성분으로 분할함으로써 주파수 지원이 기하급수적으로 증가함을 보이기 위해 조화 분석을 활용한다.
• 원소가 초기 입력 주파수의 정수 조화성분에 해당하는 구조적 신호 사전으로 INRs를 모델링한다.
• 초기화 시점의 실증적 NTK의 고유함수를 사전 원소로 간주하고, 이를 통해 INRs의 인덕티브 바이어스를 분석한다.
• NTK가 고유함수와의 내적을 통해 타겟 신호를 인코딩할 수 있음을 활용해 학습의 어려움을 정량화한다.
• 메타학습이 메타학습 예제들을 조합함으로써 더 효율적인 NTK 원소를 형성하는 사전 학습 알고리즘으로 작용함을 보여준다.
• CelebA 데이터셋에서 실험을 통해 결과를 검증하며, NTK 고유함수와 재구성 성능을 다양한 초기화 방식에서 측정한다.

실험 결과

연구 질문

• RQ1 INRs의 표현 능력은 아키텍처의 깊이와 주파수 지원과 어떻게 관련이 있는가?
• RQ2 실증적 NTK의 고유함수로 INRs의 인덕티브 바이어스를 어느 정도 특성화할 수 있는가?
• RQ3 왜 메타학습은 INR 수렴과 일반화를 향상시키며, NTK의 구조는 어떻게 변화하는가?
• RQ4 INRs에서 불완전한 복원과 앨리어싱 등의 실패 모드는 무엇이 원인인지, 사전 표현과 어떻게 관련이 있는가?
• RQ5 단일 이미지에서의 미리 훈련(pretraining)은 메타학습에 비해 성능을 어떻게 떨어뜨리며, NTK는 이 과정에서 어떤 역할을 하는가?

주요 결과

• INRs는 깊이에 따라 주파수 지원이 기하급수적으로 증가하며, 선형 증가하는 파rameter로도 광대역 신호를 효율적으로 표현할 수 있다.
• 초기화 시점의 실증적 NTK 고유함수는 사전 원소로 작용하며, 이 원소와 타겟 신호 간의 내적은 재구성 성능을 결정한다.
• 메타학습은 메타학습 예제들을 조합함으로써 NTK를 더 풍부한 신호 사전으로 재구성하여 인코딩 효율성과 일반화 능력을 크게 향상시킨다.
• 단일 이미지에서의 미리 훈련은 NTK 고유함수를 그 이미지에 과적합시켜, 무작위 초기화보다 압축 성능이 열 劣하고 수렴 속도가 느려진다.
• 재구성 성능은 NTK의 고유값 스펙트럼과 강하게 상관된다: 고유값이 높은 NTK 고유함수와 정렬된 신호는 더 쉽게 학습된다.
• 미리 훈련된 가중치에서의 피지컬 튜닝은 NTK 사전이 타겟 신호 분포와 잘 맞지 않아 부정적 전이(negative transfer)를 초래하는 경우가 많다.