[논문 리뷰] Training Neural Networks Using Features Replay.

Zhouyuan Huo, Bin Gu외 1명|arXiv (Cornell University)|2018. 01. 01.

Machine Learning and ELM인용 수 38

한 줄 요약

이 논문은 딥 네ural 네트워크의 병렬 훈련을 가능하게 하기 위해 백프로파게이션을 분리하는 새로운 평행 목적함수인 Features Replay를 제안한다. 수렴성을 임계점으로 보장하고 메모리 사용량을 줄임으로써, 기존 방법들에 비해 더 빠른 수렴 속도, 낮은 메모리 소비 및 향상된 일반화 오차를 달성한다.

ABSTRACT

Training a neural network using backpropagation algorithm requires passing error gradients sequentially through the network. The backward locking prevents us from updating network layers in parallel and fully leveraging the computing resources. Recently, there are several works trying to decouple and parallelize the backpropagation algorithm. However, all of them suffer from severe accuracy loss or memory explosion when the neural network is deep. To address these challenging issues, we propose a novel parallel-objective formulation for the objective function of the neural network. After that, we introduce features replay algorithm and prove that it is guaranteed to converge to critical points for the non-convex problem under certain conditions. Finally, we apply our method to training deep convolutional neural networks, and the experimental results show that the proposed method achieves {faster} convergence, {lower} memory consumption, and {better} generalization error than compared methods.

연구 동기 및 목표

• 딥 네럴 네트워크에서 병렬 처리와 자원 효율적 이용을 제한하는 백프로파게이션의 순차적 의존성을 해결하기 위해.
• 깊은 네트워크를 훈련할 때 흔히 발생하는 정확도 저하와 메모리 폭주 문제를 해결하기 위해.
• 비볼록 문제에 대해 임계점으로의 수렴을 보장하는 이론적으로 타당한 병렬 처리 가능한 훈련 목적함수를 개발하기 위해.
• 모델 일반화 성능을 유지하거나 향상시키면서도 훈련 중 메모리 소비를 줄이기 위해.

제안 방법

• 층 간의 기울기 계산을 분리하기 위해 신경망 목적함수의 새로운 평행 목적함수 설정을 제안한다.
• 중간 특징 표현을 재생함으로써 네트워크 층의 독립적이고 병렬적인 업데이트를 가능하게 하는 Features Replay 알고리즘을 도입한다.
• 일부 조건 하에서 임계점으로의 수렴을 증명하여, 비볼록 최적화 문제에 대한 이론적 신뢰성을 확보한다.
• 전방향 전파 결과를 저장할 필요 없이 특징 재생을 활용함으로써 메모리 오버헤드를 크게 감소시킨다.
• 순차적 백프로파게이션에 의존하지 않고 층 단위로 독립적인 업데이트를 허용하도록 훈련 프로세스를 설계하여 GPU 자원의 효율적 활용을 가능하게 한다.
• 재생된 특징을 통해 기울기 흐름을 유지함으로써 기존 병렬 방법에서 관찰되는 성능 저하를 방지함으로써 모델 정확도를 유지를 한다.

실험 결과

연구 질문

• RQ1 신경망 훈련을 위한 평행 목적함수 설정이 비볼록 환경에서 임계점으로의 수렴을 달성할 수 있는가?
• RQ2 제안된 방법이 모델 정확도를 희생시키지 않고 백프로파게이션 중 메모리 소비를 줄일 수 있는가?
• RQ3 Features Replay 알고리즘이 표준 백프로파게이션 및 기존 병렬 방법에 비해 더 빠른 수렴을 이룰 수 있는가?
• RQ4 딥 컨volution 네럴 네트워크에서 기준 방법에 비해 더 나은 일반화 성능을 보일 수 있는가?
• RQ5 매우 깊은 네트워크에 적용했을 때 이 방법이 확장 가능하고 안정적인가?

주요 결과

• Features Replay 알고리즘은 표준 백프로파게이션 및 기존 병렬 방법보다 더 빠른 수렴 속도를 달성한다.
• 전방향 전파 결과 전체를 저장할 필요가 없어지면서 메모리 소비가 크게 감소한다.
• 기준 방법에 비해 딥 컨볼루션 네럴 네트워크에서 더 낮은 일반화 오차를 보여준다.
• 이론적 분석을 통해 지정된 조건 하에서 임계점으로의 수렴이 확인되어 메서드의 안정성을 검증한다.
• 실험 결과 여러 딥 러닝 벤치마크에서 일관된 성능 향상이 나타나며, 훈련 속도 및 메모리 효율성에서 측정 가능한 개선이 있다.