[논문 리뷰] Convergent Block Coordinate Descent for Training Tikhonov Regularized Deep Neural Networks

Ziming Zhang, Matthew Brand|arXiv (Cornell University)|2017. 11. 20.

Stochastic Gradient Optimization Techniques참고 문헌 32인용 수 25

한 줄 요약

이 논문은 Tikhonov 정규화를 적용한 ReLU 활성화를 갖는 깊은 신경망(DNN)을 훈련하기 위해 수렴하는 블록 좌표 하강(BCD) 알고리즘을 제안한다. 비볼록 훈련 문제를 고차원 공간으로의 ReLU 리프팅을 통해 다중볼록 최적화 문제로 재구성한다. 이 방법은 R-선형 수렴 속도로 전역 수렴을 보장하며, MNIST에서 SGD보다 더 낮은 테스트 오차율을 달성하여 일반화 성능 향상을 입증한다.

ABSTRACT

By lifting the ReLU function into a higher dimensional space, we develop a smooth multi-convex formulation for training feed-forward deep neural networks (DNNs). This allows us to develop a block coordinate descent (BCD) training algorithm consisting of a sequence of numerically well-behaved convex optimizations. Using ideas from proximal point methods in convex analysis, we prove that this BCD algorithm will converge globally to a stationary point with R-linear convergence rate of order one. In experiments with the MNIST database, DNNs trained with this BCD algorithm consistently yielded better test-set error rates than identical DNN architectures trained via all the stochastic gradient descent (SGD) variants in the Caffe toolbox.

연구 동기 및 목표

• ReLU 활성화를 갖는 깊은 신경망(DNN) 훈련에서의 비볼록성과 기울기 소실 문제를 해결하기 위해.
• 국소 최솟값과 안장점 회피를 가능하게 하는 DNN에 대한 전역 수렴 최적화 방법을 개발하기 위해.
• Tikhonov 정규화를 활용한 다중볼록 문제로의 훈련 재구성으로 일반화 성능 향상을 도모하기 위해.
• DNN 환경에서 블록 좌표 하강 알고리즘의 수렴 보장 및 R-선형 수렴 속도를 이론적으로 확보하기 위해.
• 제안된 방법이 표준 SGD 기반 솔버보다 테스트 정확도에서 뛰어나다는 것을 경험적으로 검증하기 위해.

제안 방법

• ReLU 활성화를 고차원 공간으로 리프팅하여 DNN 훈련 문제의 부드럽고 다중볼록한 형태로 재구성한다.
• 네트워크 아키텍처와 가중치를 인코딩하는 Tikhonov 정규화 행렬을 도입하여 목적함수의 구조적 분해를 가능하게 한다.
• 훈련 목적함수를 세 개의 볼록 하위문제로 분해한다: Tikhonov 정규화가 적용된 역문제, 최소제곱 회귀, 분류기 학습.
• 숨은 유닛 가중치, 출력 가중치, 네트워크 파라미터의 세 블록에 대해 순차적으로 최적화하는 블록 좌표 하강(BCD)을 적용한다.
• 각 하위최적화 단계에서 수치적 안정성과 수렴성을 보장하기 위해 프록시멀 포인트 방법의 아이디어를 활용한다.
• 수렴을 보장하기 위해 감소하는 스텝 크기를 갖는 선 탐색 전략을 사용하며, 이론적 분석을 통해 1차 R-선형 수렴 속도를 입증한다.

실험 결과

연구 질문

• RQ1 ReLU 기반 DNN의 Tikhonov 정규화 및 다중볼록 재구성이 훈련 중 전역 수렴을 가능하게 할 수 있는가?
• RQ2 이 재구성된 문제에 블록 좌표 하강 알고리즘을 적용했을 때, 증명 가능한 수렴 속도로 전역적으로 정류점에 수렴하는가?
• RQ3 이 방법은 테스트 정확도 및 일반화 성능 측면에서 표준 SGD 기반 훈련을 능가할 수 있는가?
• RQ4 제안된 방법은 깊은 신경망에서 기울기 소실 문제를 어떻게 완화하는가?
• RQ5 제안된 재구성 하에 BCD 알고리즘의 수렴 속도가 1차 R-선형인가?

주요 결과

• 제안된 BCD 알고리즘은 프록시멀 포인트 방법 분석을 통해 전역적으로 정류점으로 R-선형 수렴 속도 1차로 수렴함을 증명하였다.
• 이 방법은 수치적으로 안정적이며, 각 하위문제 내에서 장거리 의존성 모델링 덕분에 기울기 소실 문제를 겪지 않는다.
• MNIST 데이터셋에서, Caffe 툴박스에 포함된 모든 SGD 변종으로 훈련한 동일한 아키텍처의 DNN과 비교해 BCD 알고리즘으로 훈련한 모델이 일관되게 낮은 테스트 세트 오차율을 기록하였다.
• Tikhonov 정규화 행렬은 네트워크 아키텍처와 파rameterization을 효과적으로 인코딩하여 목적함수의 구조적이고 볼록한 분해를 가능하게 하였다.
• 이 알고리즘은 밀도 높은 DNN뿐 아니라 희소 DNN의 훈련에도 적합하여 네트워크 구조의 다양성에 유연함을 보였다.
• 각 하위문제가 유일한 해를 갖는다는 가정 하에 수렴 분석이 성립하며, 스텝 크기 수열은 특정 감쇠 조건을 만족해야 한다(예: θt = 1/t^p, p > 1).