[논문 리뷰] Beyond Backprop: Alternating Minimization with co-Activation Memory.

Anna Choromanska, Sadhana Kumaravel외 5명|arXiv (Cornell University)|2018. 06. 24.

Stochastic Gradient Optimization Techniques인용 수 10

한 줄 요약

이 논문은 최적화 안정성을 향상시키기 위해 공활성 메모리(co-activation memory)를 사용하여 딥 네ural 네트워크를 훈련하기 위한 새로운 온라인 교대 최소화(AM) 방법을 제안한다. 이는 스트리밍 환경에서 AM에 대한 이론적 수렴 보장을 제공하며, 다양한 아키텍처와 데이터셋에서 뛰어난 경험적 성능을 보이며, 기울기 역전파의 주요 한계인 기울기 소실 및 생물학적으로 구현 불가능성 문제를 해결한다.

ABSTRACT

Despite significant recent advances in deep neural networks, training them remains a challenge due to the highly non-convex nature of the objective function. State-of-the-art methods rely on error backpropagation, which suffers from several well-known issues, such as vanishing and exploding gradients, inability to handle non-differentiable nonlinearities and to parallelize weight-updates across layers, and biological implausibility. These limitations continue to motivate exploration of alternative training algorithms, including several recently proposed auxiliary-variable methods which break the complex nested objective function into local subproblems. However, those techniques are mainly offline (batch), which limits their applicability to extremely large datasets, as well as to online, continual or reinforcement learning. The main contribution of our work is a novel online (stochastic/mini-batch) alternating minimization (AM) approach for training deep neural networks, together with the first theoretical convergence guarantees for AM in stochastic settings and promising empirical results on a variety of architectures and datasets.

연구 동기 및 목표

• 기울기 역전파의 한계, 즉 기울기 소실/폭발, 비가역 비선형성, 생물학적으로 구현 불가능성 문제를 해결하기 위해.
• 기존 보조변수 기반 AM 방법이 배치 처리에 국한되는 문제를 해결하기 위해 온라인(스토케스틱/미니배치) 훈련 방법을 개발하기 위해.
• 딥 네럴 네트워크에서 스트리밍 환경에서의 교대 최소화에 대해 처음으로 이론적 수렴 보장을 제공하기 위해.
• 배치 처리가 비현실적인 온라인, 지속적 학습 및 강화 학습 환경에서 효과적인 훈련을 가능하게 하기 위해.
• 상호층 간 의존성을 포착하는 공활성 메모리 메커니즘을 통해 최적화 안정성과 성능을 향상시키기 위해.

제안 방법

• 스토케스틱 미니배치 환경에서 네트워크 가중치와 보조변수를 번갈아 가며 최적화하는 온라인 교대 최소화 프레임워크를 제안한다.
• 교차층 활성화 통계를 저장하고 활용하여 가중치 갱신을 이끌고 최적화 안정성을 향상시키는 공활성 메모리 메커니즘을 도입한다.
• 블록좌표강하 접근법을 사용하여 가중치와 보조변수를 번갈아 갱신함으로써 복잡한 전역 목표함수를 국소 하위문제로 분리한다.
• 기존 기울기 역전파 없이 장기적 의존성을 학습할 수 있도록 과거의 공활성 데이터를 저장하는 메모리 버퍼를 활용한다.
• 유사한 가정 하에 이론적 수렴 보장을 도출하여, 스트리밍 AM 알고리즘의 기대값 수렴을 입증한다.
• 기울기 역전파에 의존하지 않고 종단 간 훈련이 가능한 미분 가능 대체 목표함수를 설계한다.

실험 결과

연구 질문

• RQ1 교대 최소화가 딥 네트워크의 온라인 및 스트리밍 훈련 환경에 효과적으로 적용될 수 있는가?
• RQ2 공활성 메모리 메커니즘이 딥 러닝에서 최적화 안정성과 수렴에 기여하는가?
• RQ3 비볼록 목표함수를 가진 스트리밍 환경에서 교대 최소화에 대해 어떤 이론적 보장을 확보할 수 있는가?
• RQ4 다양한 아키텍처와 데이터셋에서 기울기 역전파 대비 성능 및 내성에 대해 제안된 방법은 어떻게 비교되는가?
• RQ5 배치 처리가 비현실적인 온라인 및 지속적 학습 환경에서 이 방법을 적용할 수 있는가?

주요 결과

• 제안된 온라인 교대 최소화와 공활성 메모리 방법은 다양한 딥 러닝 아키텍처와 데이터셋에서 기울기 역전파와 경쟁하거나 슈퍼어리어한 성능을 달성한다.
• 이 방법은 기울기 역전파에 의존하지 않음에도 불구하고 기울기 소실 및 폭발 문제를 효과적으로 완화하는 안정적인 훈련 행동을 보인다.
• 이론적 분석을 통해 표준 가정 하에 스트리밍 교대 최소화 알고리즘의 수렴이 기대값 수렴임을 입증한다.
• 경험적 결과는 공활성 메모리가 최적화 안정성과 최종 모델 정확도를 크게 향상시킨다는 것을 보여준다.
• 이 방법은 배치 기반 방법이 메모리 및 계산 제약으로 실패하는 온라인 및 지속적 학습 환경에서도 성공적으로 적용된다.
• 이 방법은 층 간 병렬 가중치 갱신을 가능하게 하여 기울기 역전파의 주요 한계를 극복한다.