[논문 리뷰] Random Weight Factorization Improves the Training of Continuous Neural Representations

Sifan Wang, Hanwen Wang외 2명|arXiv (Cornell University)|2022. 10. 03.

Neural Networks and Applications인용 수 6

한 줄 요약

이 논문은 좌표 기반 MLP에서 선형 레이어를 단순한 재매개변수화하는 방식인 무작위 가중치 분해를 소개한다. 이 방법은 각 뉴런당 자가 적응 학습률을 가능하게 하여 훈련을 향상시킨다. 무작위 초기화된 척도 및 방향 벡터로 가중치를 분해함으로써 손실 경관이 재구성되며, 이는 스펙트럼 편향을 완화하고 컴퓨터 시각, 그래픽스, 과학 계산 분야의 다양한 작업에서 수렴 속도를 가속화한다.

ABSTRACT

Continuous neural representations have recently emerged as a powerful and flexible alternative to classical discretized representations of signals. However, training them to capture fine details in multi-scale signals is difficult and computationally expensive. Here we propose random weight factorization as a simple drop-in replacement for parameterizing and initializing conventional linear layers in coordinate-based multi-layer perceptrons (MLPs) that significantly accelerates and improves their training. We show how this factorization alters the underlying loss landscape and effectively enables each neuron in the network to learn using its own self-adaptive learning rate. This not only helps with mitigating spectral bias, but also allows networks to quickly recover from poor initializations and reach better local minima. We demonstrate how random weight factorization can be leveraged to improve the training of neural representations on a variety of tasks, including image regression, shape representation, computed tomography, inverse rendering, solving partial differential equations, and learning operators between function spaces.

연구 동기 및 목표

• 다양한 척도의 신호를 위한 연속 신경 표현을 훈련하는 데 있어 느린 수렴과 고주파 성분의 낮은 포착률 문제를 해결한다.
• 좌표 기반 MLP에서 발생하는 스펙트럼 편향을 극복하여 네트워크가 세부 정보보다 저주파 성분을 우선 학습하는 경향을 줄인다.
• 작업에 특화된 하이퍼파rameter 조정이나 신호에 대한 사전 지식 없이도 훈련 안정성과 일반화 성능을 향상시킨다.
• 최소한의 아키텍처 변경으로 표준 MLP를 향상시키며 일관된 성능 향상을 보이는 즉시 사용 가능한 방법을 개발한다.

제안 방법

• 무작위 가중치 분해를 제안한다: 각 뉴런의 가중치 벡터를 $\bm{w}^{(k,l)} = s^{(k,l)} \cdot \bm{v}^{(k,l)}$로 분해하며, 여기서 $s^{(k,l)}$는 학습 가능한 척도이고 $\bm{v}^{(k,l)}$는 한 번만 초기화되는 무작위 방향 벡터이다.
• 이 분해를 사용해 MLP의 표준 선형 레이어를 재매개변수화하며, $\bm{W}^{(l)}$를 $\mathrm{diag}(\bm{s}^{(l)}) \cdot \bm{V}^{(l)}$로 대체한다.
• 스케일 인자 $s^{(k,l)}$와 방향 벡터 $\bm{v}^{(k,l)}$를 함께 경사 하강법으로 최적화함으로써 각 뉴런이 자체 학습률을 적응적으로 조정할 수 있도록 한다.
• 이 분해가 손실 경관을 변화시켜, 파라미터 설정 간의 거리를 줄이고 열악한 국소 최소값에서 더 빨리 벗어나게 함을 입증한다.
• 표준 MLP, SIREN, 연산자 학습을 위한 수정된 DeepONets를 포함한 다양한 아키텍처에 이 방법을 즉시 적용한다.
• 물리 기반 신경망(PINNs)과 DeepONets에 이 방법을 통합하기 위해, 푸리에 특징 매핑과 잔차 손실 최소화와 조합한다.

실험 결과

연구 질문

• RQ1 무작위 가중치 분해가 연속 신경 표현의 손실 경관 기하학에 어떤 영향을 미치는가?
• RQ2 다양한 신호 유형에서 좌표 기반 MLP의 스펙트럼 편향을 무작위 가중치 분해가 얼마나 줄일 수 있는가?
• RQ3 고주파 신호를 포함한 작업, 예를 들어 PDE 해법 및 역 렌더링에서 무작위 가중치 분해가 수렴 속도와 일반화 성능을 향상시킬 수 있는가?
• RQ4 이 방법은 이미지 회귀, 형태 표현, 연산자 학습 등 다양한 도메인에서 작업에 특화된 조정 없이 어떻게 성능을 발휘하는가?
• RQ5 이 분해로 유도되는 자가 적응 학습률은 열악한 가중치 초기화 상태에서 더 빨리 회복하는 데 기여하는가?

주요 결과

• 무작위 가중치 분해로 인해 모든 평가된 작업, 즉 이미지 회귀, 형태 표현, PDE 해법에서 훈련 시간이 크게 감소하고 수렴 속도가 향상된다.
• 이 방법은 MLP가 고주파 성분을 더 효과적으로 학습할 수 있도록 하여 스펙트럼 편향을 감소시키고 세부 사항의 재구성 정확도를 향상시킨다.
• 버거스 PDE 작업에서 무작위 가중치 분해를 적용한 물리 기반 DeepONet은 표준 및 SIREN 기반 베이스라인보다 낮은 테스트 오차를 기록했으며, 예측되지 않은 초기 조건에 대해서도 일반화 성능이 향상되었다.
• 이 방법은 역 렌더링 및 단층 촬영(CT) 작업에서 표준 MLP와 SIREN 네트워크를 일관되게 능가하며, 다양한 신호 유형에 대해 강건함을 입증했다.
• 무작위 가중치 분해를 적용하면 손실 경관이 더 평탄하고 연결성이 높아져 열악한 국소 최소값에서 더 빨리 벗어나고 더 나은 최종 해에 도달할 수 있다.
• 이 방법은 추가 하이퍼파rameter 조정이 필요 없으며, 복잡하고 다중 척도의 신호를 포함한 다양한 아키텍처와 데이터셋에서 일관된 성능 향상을 제공한다.