[논문 리뷰] Orthogonal Over-Parameterized Training

Weiyang Liu, Rongmei Lin외 6명|arXiv (Cornell University)|2020. 04. 09.

Advanced Neural Network Applications참고 문헌 81인용 수 4

한 줄 요약

이 논문은 신경망 일반화를 향상시키기 위해 최소한의 초구면 에너지를 유지하는 직교 변환을 학습하는 새로운 프레임워크인 직교 과다파rameter화 학습(Orthogonal Over-Parameterized Training, OPT)을 제안한다. 초구면 상의 뉴런 다양성을 측정하는 데 사용되는 초구면 에너지를 최소화함으로써 성능을 향상시킨다. 무작위로 초기화된 뉴런 가중치를 고정하고 공유되는 직교 행렬을 최적화함으로써 OPT는 에너지를 증명 가능하게 최소화하고 표준 학습보다 더 잘 일반화된다.

ABSTRACT

The inductive bias of a neural network is largely determined by the architecture and the training algorithm. To achieve good generalization, how to effectively train a neural network is of great importance. We propose a novel orthogonal over-parameterized training (OPT) framework that can provably minimize the hyperspherical energy which characterizes the diversity of neurons on a hypersphere. By maintaining the minimum hyperspherical energy during training, OPT can greatly improve the empirical generalization. Specifically, OPT fixes the randomly initialized weights of the neurons and learns an orthogonal transformation that applies to these neurons. We consider multiple ways to learn such an orthogonal transformation, including unrolling orthogonalization algorithms, applying orthogonal parameterization, and designing orthogonality-preserving gradient descent. For better scalability, we propose the stochastic OPT which performs orthogonal transformation stochastically for partial dimensions of neurons. Interestingly, OPT reveals that learning a proper coordinate system for neurons is crucial to generalization. We provide some insights on why OPT yields better generalization. Extensive experiments validate the superiority of OPT over the standard training.

연구 동기 및 목표

• 과다파rameter화된 신경망에서 직교 파rameterization을 통해 새로운 인덕티브 바이어스를 도입함으로써 일반화를 향상시키는 것.
• 일반화와의 관련성이 알려져 있음에도 불구하고 기존 학습 방법이 초구면 에너지를 명시적으로 최소화하지 못하는 격차를 메우는 것.
• 초기 가중치를 고정하고 직교 변환을 최적화함으로써 뉴런 가중치 학습과 좌표계 학습을 분리하는 것.
• 직교 행렬 최적화를 통한 초구면 에너지 최소화를 위한 확장 가능하고 증명 가능한 효과적인 방법을 제공하는 것.
• 뉴런을 위한 적절한 좌표계 학습이 일반화에 매우 중요하며, 단지 가중치 업데이트만으로는 부족하다는 것을 드러내는 것.

제안 방법

• 각 뉴런의 가중치를 w = Rv로 분해하며, 여기서 v는 무작위로 초기화되고 고정되고 R은 학습 가능한 공유된 직교 행렬이다.
• 무작위로 초기화된 v에 대해 초구면 에너지를 최소화하는 데 도움이 되는 무한 반복 직교화 알고리즘(예: 그람-슈미트, 하우스홀더, 루드빈)을 사용하여 R을 학습한다.
• 효율적이고 안정적인 R 최적화를 위해 직교 파arameterization(예: 케일리 파arameterization)을 적용한다.
• 역전파 중 R의 직교성을 유지하기 위해 직교성을 유지하는 경사하강법을 사용한다.
• 확장성을 향상시키기 위해 일부 뉴런 차원에만 직교 변환을 적용하는 확률적 OPT를 도입한다.
• 학습 이전에 랜덤 가중치를 초구면 에너지를 최소화하도록 전처리하여 초기 뉴런 분리도를 향상시킨다.

실험 결과

연구 질문

• RQ1 뉴런 가중치에 대한 직교 변환을 학습함으로써 초구면 에너지를 증명 가능하게 최소화하고 일반화를 향상시킬 수 있는가?
• RQ2 가중치 크기와 좌표계 학습을 분리함으로써 인덕티브 바이어스와 일반화에 어떤 영향을 미치는가?
• RQ3 OPT 프레임워크 내에서 다양한 직교화 방법(예: 무한 반복, 파라미터화, 기울기 유지)의 상대적 이점은 무엇인가?
• RQ4 학습 이전에 무작위로 초기화된 가중치의 초구면 에너지를 최소화하면 후속 성능 향상에 기여하는가?
• RQ5 확률적 OPT는 대규모 모델에 대해 확장성을 향상시키면서도 성능을 유지하는가?

주요 결과

• OPT는 뉴런 가중치에 대한 직교 변환 R을 학습함으로써 초구면 에너지를 증명 가능하게 최소화하며, v가 무작위로 초기화된 경우 기대값으로 최소 에너지를 보장한다.
• 실험 결과, OPT는 훈련 손실가 유사한 상황에서도 표준 학습보다 일반화 성능이 뚜렷이 향상됨을 보였다.
• 프레임워크는 뉴런의 다양성과 초구면 상의 분리를 향상시키는 좌표계(R)를 학습함으로써 일반화를 향상시킨다.
• 랜덤 가중치를 초구면 에너지를 최소화하도록 전처리하면 더 나은 초기 설정과 더 빠른 수렴을 이끌어낸다.
• 확률적 OPT는 계산 비용을 줄이며 성능을 유지함으로써 대규모 모델에 대한 확장성을 가능하게 한다.
• 다양한 직교화 방법(예: 대칭형 대비 하우스홀더)은 서로 다른 암묵적 정규화를 유도하며, 최종 모델 성능에 영향을 미친다.