[논문 리뷰] Learning ReLU Networks via Alternating Minimization

Gauri Jagatap, Chinmay Hegde|arXiv (Cornell University)|2018. 06. 20.

Neural Networks and Applications참고 문헌 20인용 수 7

한 줄 요약

이 논문은 ReLU 신경망을 훈련하기 위한 교대 최소화 알고리즘을 제안하며, 모든 샘플에 대해 ReLU 활성화 패턴을 추정하고 가중치를 갱신하기 위해 최소 제곱 문제를 해결하는 방식으로 교대한다. 이는 1층 히든 레이어 ReLU 네트워크와 스킵 연결이 있는 ResNet 유형 아키텍처에 대해 처음으로 증명 가능한 선형 수렴 보장을 제공하며, 오직 O(dk² poly(log d))개의 샘플이 필요하고, 학습 에포크 수 이외의 하이퍼파rameter 조정이 필요하지 않다.

ABSTRACT

We propose and analyze a new family of algorithms for training neural networks with ReLU activations. Our algorithms are based on the technique of alternating minimization: estimating the activation patterns of each ReLU for all given samples, interleaved with weight updates via a least-squares step. The main focus of our paper are 1-hidden layer networks with $k$ hidden neurons and ReLU activation. We show that under standard distributional assumptions on the $d-$dimensional input data, our algorithm provably recovers the true `ground truth' parameters in a linearly convergent fashion. This holds as long as the weights are sufficiently well initialized; furthermore, our method requires only $n=\widetilde{O}(dk^2)$ samples. We also analyze the special case of 1-hidden layer networks with skipped connections, commonly used in ResNet-type architectures, and propose a novel initialization strategy for the same. For ReLU based ResNet type networks, we provide the first linear convergence guarantee with an end-to-end algorithm. We also extend this framework to deeper networks and empirically demonstrate its convergence to a global minimum.

연구 동기 및 목표

• 기본 경사하강법에서 흔히 발생하는 하이퍼파rameter 조정을 피하는 새로운 알고리즘 프레임워크를 개발하는 것.
• 표준 분포 가정 하에 1히든 레이어 ReLU 네트워크에 대해 증명 가능한 수렴 보장을 제공하는 것.
• 스킵 연결이 있는 잔차 네트워크(ResNets)로 프레임워크를 확장하고, 새로운 초기화 전략을 제안하는 것.
• 더 깊은 네트워크에서 방법을 경험적으로 검증하고 전역 최소값으로의 수렴을 보여주는 것.

제안 방법

• 알고리즘은 모든 샘플에 대해 ReLU 활성화 패턴(서명)을 고정하고, 가중치를 갱신하기 위해 최소 제곱 문제를 해결하는 방식으로 교대한다.
• 각 샘플에 대해 현재 가중치 추정치를 기반으로 각 ReLU 뉴런의 활성화 상태(on/off)를 추정한다.
• 가중치 갱신 단계는 현재 활성화 패턴을 사용하여 선형 방정식계를 풀며, 네트워크를 조각별 선형 모델로 간주한다.
• 이 방법은 각 활성화 패턴 영역 내에서 ReLU 네트워크를 선형 모델로 간주하는 '선형화 기법'을 사용한다.
• ResNet 유형 네트워크의 경우, 복잡한 텐서 분해 기반 초기화가 필요 없이 수렴을 가능하게 하는 신뢰성 있는 정규화 초기화를 사용한다.
• 깊은 네트워크로의 확장을 위해 계층별로 교대 최소화를 적용하며, 경험적 검증을 통해 충분한 샘플이 주어지면 훈련 손실이 0으로 수렴하는 것으로 나타났다.

실험 결과

연구 질문

• RQ1 교대 최소화가 표준 가정 하에 1히든 레이어 ReLU 네트워크 훈련에 대해 증명 가능한 샘플 복잡도를 갖는 선형 수렴을 달성할 수 있는가?
• RQ2 복잡한 아키텍처에서 표준 경사하강법에 비해 제안된 방법이 성공률 측면에서 뛰어나게 성능을 발휘하는가?
• RQ3 아이덴티티 초기화와 같은 간단한 초기화 전략이 ReLU 활성화를 갖는 ResNet 유형 아키텍처에서 수렴을 보장할 수 있는가?
• RQ4 알고리즘이 진정한 네트워크 파라미터를 복구하기 위해 필요한 샘플 복잡도는 얼마인가?
• RQ5 교대 최소화 프레임워크는 경험적으로 성공하는 깊은 ReLU 네트워크로 확장될 수 있는가?

주요 결과

• 표준 가정 하에 알고리즘이 선형 수렴을 달성하며, 파라미터 추정 오차를 ε로 줄이기 위해 O(log 1/ε)개의 훈련 에포크가 소요된다.
• 1히든 레이어 네트워크의 경우, n = eO(dk²)개의 샘플이 필요하지만, 실질적으로는 O(dk² poly(log d))로 간주된다.
• 이 방법은 엔드 투 엔드 알고리즘으로서 ReLU 활성화를 갖는 ResNet 유형 네트워크 훈련에 대해 처음으로 증명 가능한 선형 수렴 보장을 제공한다.
• 알고리즘은 파라미터가 없는 것으로, 학습률이나 기타 하이퍼파rameter 조정이 필요 없으며, 에포크 수 이외의 설정 외에는 필요 없다.
• 경험적 결과는 표준 경사하강법에 비해 성공률가 향상되었으며, 특히 네트워크 복잡도가 증가할수록 뚜렷하게 개선된다.
• 충분한 샘플이 주어지면 더 깊은 ReLU 네트워크에서 알고리즘이 훈련 손실이 0으로 수렴하는 것으로 나타났지만, 깊이 ≥2에 대한 엄밀한 보장은 아직 열려 있는 과제이다.