[논문 리뷰] Decoupled Greedy Learning of CNNs

Eugene Belilovsky, Michael Eickenberg외 1명|arXiv (Cornell University)|2019. 01. 23.

Advanced Neural Network Applications참고 문헌 36인용 수 31

한 줄 요약

이 논문은 Decoupled Greedy Learning(DGL)을 제안하며, 이는 이완된 목표를 사용해 CNN 레이어를 독립적으로 훈련시켜, 분리된 최적화와 재생 버퍼를 통해 전체 업데이트 및 순방향 잠금을 해제함으로써 병렬 훈련을 가능하게 한다. DGL은 CIFAR-10과 ImageNet에서 최신 기술 수준의 성능을 달성하며, 훈련 지연에 대해 뛰어난 확장성과 강건성을 보이며, 백프로파게이션과 DNI와 같은 대안들보다 병렬 훈련 환경에서 뛰어난 성능을 발휘한다.

ABSTRACT

A commonly cited inefficiency of neural network training by back-propagation is the update locking problem: each layer must wait for the signal to propagate through the full network before updating. Several alternatives that can alleviate this issue have been proposed. In this context, we consider a simpler, but more effective, substitute that uses minimal feedback, which we call Decoupled Greedy Learning (DGL). It is based on a greedy relaxation of the joint training objective, recently shown to be effective in the context of Convolutional Neural Networks (CNNs) on large-scale image classification. We consider an optimization of this objective that permits us to decouple the layer training, allowing for layers or modules in networks to be trained with a potentially linear parallelization in layers. With the use of a replay buffer we show this approach can be extended to asynchronous settings, where modules can operate with possibly large communication delays. We show theoretically and empirically that this approach converges. Then, we empirically find that it can lead to better generalization than sequential greedy optimization. We demonstrate the effectiveness of DGL against alternative approaches on the CIFAR-10 dataset and on the large-scale ImageNet dataset.

연구 동기 및 목표

• 딥 컨volution 네트워크에서 백프로파게이션의 비효율성, 특히 업데이트 잠금과 순방향 잠금 문제를 해결하기 위해, 이는 병렬화를 방해한다.
• DNI와 같은 기울기 기반 방법의 복잡한 보조 네트워크와 피드백 의존성 문제를 피하면서도 더 단순하고 효과적인 대안을 개발하기 위해.
• 레이어 간 최적화 과정을 분리함으로써 레이어 훈련의 진정한 병렬화를 가능하게 하기 위해.
• 재생 버퍼를 사용해 커뮤니케이션 지연이 큰 비동기 설정으로 확장하기 위해.
• 기본 백프로파게이션의 성능을 따라하거나 초월할 수 있는 분리된 탐욕 최적화 전략이 대규모 데이터셋인 ImageNet에서 가능함을 보여주기 위해.

제안 방법

• 공동 훈련 목표의 탐욕적 이완을 제안하여, 후속 레이어의 피드백을 기다리지 않고 각 레이어를 독립적으로 훈련시킬 수 있도록 한다.
• 업데이트 잠금을 해제하기 위해 상위 모듈에 대한 의존성을 제거함으로써 최적화 과정을 분리하는 방법을 도입한다.
• 과거 활성화값과 레이블을 저장하는 재생 버퍼를 사용하여, 큰 커뮤니케이션 지연이 있는 비동기 훈련을 가능하게 한다.
• 두 단계 최적화를 적용한다: 첫 번째로 각 레이어를 자신의 출력과 타겟을 사용해 국소 목표 함수로 훈련하고, 두 번째로 재생 버퍼에서 계산된 대체 기울기를 사용해 파라미터를 업데이트한다.
• 동기 및 비동기 설정 모두에 적용되며, 약한 가정 하에 이론적으로 수렴 보장을 갖는다.
• 모델 병렬화로 확장하고 데이터 병렬화와 자연스럽게 조합되어 대규모 모델에서의 확장 가능한 훈련을 가능하게 한다.

실험 결과

연구 질문

• RQ1 탐욕적이고 분리된 최적화 전략이 CNN에서 표준 백프로파게이션과 비교해 유사하거나 더 높은 성능을 달성할 수 있는가?
• RQ2 레이어 훈련을 분리함으로써 업데이트 잠금과 순방향 잠금이 제거되어 진정한 병렬화가 가능한가?
• RQ3 재생 버퍼를 통해 큰 커뮤니케이션 지연이 있는 비동기 훈련에서도 강건한 성능을 유지할 수 있는가?
• RQ4 DGL은 정확도, 확장성, 하이퍼파rameter에 대한 안정성 측면에서 DNI 및 기타 대안들과 비교해 어떻게 성능을 내는가?
• RQ5 DGL은 이전 대안들이 실패한 대규모 데이터셋인 ImageNet과도 확장 가능한가?

주요 결과

• DGL은 CIFAR-10에서 표준 백프로파게이션과 DNI를 모두 뛰어넘는 정확도와 훈련 안정성으로 최신 기술 수준의 성능을 달성한다.
• ImageNet 데이터셋에서 DGL은 더 깊고 더 큰 모델로의 확장성을 보이며, 백프로파게이션을 사용하지 않는 방법임에도 불구하고 경쟁 가능한 정확도를 달성한다.
• 하이퍼파ram터 선택과 훈련 지연에 대해 강건성을 보이며, 비동기 DGL은 큰 커뮤니케이션 지연 조건에서도 성능을 유지한다.
• 이론적 분석을 통해 DGL이 표준 비볼록 최적화 속도로 수렴함을 확인하여, 그 실험적 성공을 정당화한다.
• 재생 버퍼는 순방향 잠금을 해제하여 모듈이 선조의 대기 없이 비동기적으로 작동할 수 있도록 하며, 훈련 처리량을 크게 향상시킨다.
• DGL은 병렬화 효율성과 확장성 측면에서 기존 대안들을 능가하며, 생물학적으로 타당한 훈련과 분산 훈련 분야의 미래 연구를 위한 강력한 기준이 된다.