[논문 리뷰] Memory-Efficient Backpropagation Through Time

Audrūnas Gruslys, Rémi Munos외 3명|arXiv (Cornell University)|2016. 06. 10.

Neural Networks and Applications참고 문헌 11인용 수 51

한 줄 요약

이 논문은 순환 신경망(RNN)의 역전파를 통한 시간(BPTT)에서 메모리 사용량과 계산 비용을 최적화하는 데 기반한 동적 프로그래밍 기반 알고리즘인 BPTT-MSM을 제안한다. 중간 상태를 지능적으로 캐시하고 재계산하여, 길이 1000인 시계열에 대해 표준 BPTT 대비 최대 95%까지 메모리 사용량을 감소시키지만, 계산 시간은 단지 1/3 증가에 그치며, 엄격한 메모리 제약 조건 내에서도 효율적인 학습을 가능하게 한다.

ABSTRACT

We propose a novel approach to reduce memory consumption of the backpropagation through time (BPTT) algorithm when training recurrent neural networks (RNNs). Our approach uses dynamic programming to balance a trade-off between caching of intermediate results and recomputation. The algorithm is capable of tightly fitting within almost any user-set memory budget while finding an optimal execution policy minimizing the computational cost. Computational devices have limited memory capacity and maximizing a computational performance given a fixed memory budget is a practical use-case. We provide asymptotic computational upper bounds for various regimes. The algorithm is particularly effective for long sequences. For sequences of length 1000, our algorithm saves 95\% of memory usage while using only one third more time per iteration than the standard BPTT.

연구 동기 및 목표

• GPU와 같은 메모리 제약 조건이 있는 장치에서 순환 신경망에서 표준 역전파를 통한 시간(BPTT)의 높은 메모리 소비 문제를 해결하기 위해.
• 사용자가 지정한 고정된 메모리 예산에 대해 메모리 사용량과 계산 비용 사이의 최적 균형을 찾는 방법을 개발하기 위해.
• 유연한 메모리 제약 조건에 맞게 장기간의 시계열을 효과적으로 학습시킬 수 있도록 하되, 히우리스틱 메모리 절약 전략에 의존하지 않기 위해.
• 기존 히우리스틱 전략(예: 첸의 √t 알고리즘)을 능가하는 일반적이고 아키텍처에 종속되지 않는 솔루션을 제공하기 위해.

제안 방법

• 이 방법은 고정된 메모리 예산 하에서 총 계산 비용을 최소화하는 데 목적이 있는, BPTT 동안 중간 상태의 캐시 및 재계산 전략을 동적 프로그래밍으로 계산한다.
• 각 상태가 캐시되거나 재계산되어야 하는 시계열 단계의 시퀀스로 문제를 모델링하며, 비용은 정방향 전파 연산에 의해 정의된다.
• 알고리즘은 시간 i에서 시작점까지 역전파하기 위해 필요한 최소 비용을 계산하는 비용 함수 Q_i(t,m)를 정의한다. 여기서 m은 사용 가능한 메모리 슬롯 수이다.
• 모든 가능한 방법으로 시퀀스를 분할하고 세그먼트 간 메모리 사용을 균형 있게 조절하는 재귀적 공식을 사용하여 전역 최적성을 보장한다.
• 세분화된 제어를 통해 중간 상태의 캐시 수를 제어할 수 있어 임의의 메모리 예산을 지원한다.
• RNN 아키텍처에 종속되지 않으며, 표준 RNN, LSTM 및 기타 순환 모델과 모두 호환된다.

실험 결과

연구 질문

• RQ1 BPTT에서 RNN의 메모리 사용량과 계산 비용 사이의 전역 최적 균형을 도출할 수 있는 동적 프로그래밍 접근법이 존재하는가?
• RQ2 제안된 방법은 첸의 √t 알고리즘과 같은 히우리스틱 접근법에 비해 메모리 효율성과 계산 비용 측면에서 어떻게 비교되는가?
• RQ3 장기간의 시계열에서 계산 비용의 증가를 최소화하면서 메모리 사용량을 얼마나 줄일 수 있는가?
• RQ4 기존 히우리스틱 전략이 지원하지 않는 메모리 예산이라도, 이 방법은 사용자 정의 메모리 예산에 맞게 조정될 수 있는가?

주요 결과

• 길이 1000인 시계열에 대해 제안된 BPTT-MSM 알고리즘은 표준 BPTT 대비 메모리 사용량을 95% 감소시키지만, 계산 시간은 단지 1/3 증가에 그친다.
• 이 알고리즘은 첸의 √t 접근법에서 사용하는 메모리 예산과 유사한 경우에도 거의 최적의 성능을 달성하지만, 훨씬 뛰어난 메모리 효율성을 보인다.
• 계산 비용을 시간 단위 2회의 정방향 전파로 고정했을 때(첸의 √t 알고리즘과 동일), 제안된 방법은 장기간의 시계열에서 첸의 방법이 요구하는 메모리의 50% 미만으로 사용한다.
• 특히 수익 감소 영역에서, 이는 임의의 메모리 예산을 정확히 타겟팅할 수 있는 능력 덕분에 첸의 √t 알고리즘을 뛰어넘는다.
• 동적 프로그래밍 공식화는 주어진 가정 하에서 최적성을 보장하므로, 첸의 방법을 포함한 모든 히우리스틱 전략보다 최소한 동일하거나 더 낫다.
• 이 알고리즘은 다양한 시계열 길이와 메모리 제약 조건에서 효과적으로 작동하며, 매우 낮은 메모리 예산에서도 계산 비용이 다소 증가할 뿐이다.