[논문 리뷰] Data Movement Is All You Need: A Case Study of Transformer Networks

Andrei Ivanov, Nikoli Dryden외 3명|arXiv (Cornell University)|2020. 06. 30.

Advanced Neural Network Applications인용 수 3

한 줄 요약

이 논문은 트랜스포머 네트워크 학습에서 데이터 이동을 주요 성능 저하 원인으로 규명하며, 기존 프레임워크에서 비효율적인 데이터 레이아웃이 메모리 기반 성능을 초래함을 입증한다. 저자들은 데이터 레이아웃을 재설계하고 전역적으로 데이터 이동을 최적화함으로써, BERT 학습 시 데이터 이동을 최대 22.91% 감소시키고, 최신 기준 프레임워크 대비 1.30배의 성능 향상을 달성한다.

ABSTRACT

Transformer neural networks have become widely used for language modeling and sequence learning tasks, and are one of the most important machine learning workloads today. Training one is a very compute-intensive task, often taking days or weeks, and significant attention has been given to optimizing transformers. Despite this, existing implementations do not efficiently utilize GPUs. We find that data movement is the key bottleneck when training. Due to Amdahl's Law and massive improvements in compute performance, training has now become memory-bound. Further, existing frameworks use suboptimal data layouts. Using these insights, we present a recipe for globally optimizing data movement in transformers. We reduce data movement by up to 22.91% and overall achieve a 1.30x performance improvement over state-of-the-art frameworks when training BERT. Our approach is applicable more broadly to optimizing deep neural networks, and offers insight into how to tackle emerging performance bottlenecks.

연구 동기 및 목표

• 트랜스포머 네트워크 학습에서 성능 저하의 근본 원인을 규명하는 것.
• 계산 성능 향상에도 불구하고 기존 딥 러닝 프레임워크가 왜 데이터 이동을 최적화하지 못하는지 분석하는 것.
• 트랜스포머와 더 넓은 딥 네트워크 아키텍처에 적용 가능한 전역 최적화된 데이터 이동 전략을 개발하는 것.
• 데이터 레이아웃과 액세스 패턴을 재고함으로써 학습 시 메모리 기반 오버헤드를 줄이는 것.

제안 방법

• 전체 학습 성능에 대한 데이터 이동 영향을 분석하기 위해 암다울의 법칙을 적용하는 것.
• 최근 학습 워크로드가 계산 성능 대비 메모리 대역폭 향상에 비해 비율적으로 높아지면서 메모리 기반으로 전환된다는 점을 규명하는 것.
• 층과 어텐션 헤드 간의 중복된 데이터 이동을 최소화하기 위해 트랜스포머 내 데이터 레이아웃을 재검토하고 재설계하는 것.
• 어텐션 메커니즘과 피드포워드 층 간의 중복 메모리 전송을 줄이는 전역 최적화된 데이터 이동 파이프라인을 구현하는 것.
• 최신 기준 프레임워크를 베이스라인으로 사용하여 표준 하드웨어에서 BERT 학습 워크로드를 활용해 접근 방식을 검증하는 것.
• 엔드 투 엔드 학습 시간과 데이터 이동량 메트릭을 통해 성능 향상을 측정하는 것.

실험 결과

연구 질문

• RQ1 최신 GPU 계산 성능 향상에도 불구하고 기존 트랜스포머 구현이 왜 효율적으로 확장되지 못하는가?
• RQ2 현대 트랜스포머에서 데이터 이동이 학습 지연에 얼마나 큰 영향을 미치는가?
• RQ3 데이터 레이아웃 재조직화로 어텐션 및 피드포워드 서브레이어에서 데이터 이동을 어떻게 줄일 수 있는가?
• RQ4 트랜스포머에서 전역적으로 데이터 이동을 최적화함으로써 얻을 수 있는 성능 향상은 어느 정도인가?
• RQ5 제안된 최적화 전략은 다른 딥 러닝 아키텍처로 일반화될 수 있는가?

주요 결과

• 데이터 이동이 트랜스포머 학습에서 주요 성능 저하 원인으로 작용하여, 계산 성능의 급격한 향상에도 불구하고 학습이 메모리 기반으로 전환된다.
• 기존 프레임워크는 층과 어텐션 헤드 간에 중복되고 비효율적인 데이터 전송을 유도하는 비최적의 데이터 레이아웃을 사용한다.
• 제안된 전역 데이터 이동 최적화 전략은 BERT 학습 중 데이터 이동량을 최대 22.91% 감소시킨다.
• 이 최적화는 엔드 투 엔드 BERT 학습에서 최신 기준 프레임워크 대비 1.30배의 성능 향상을 달성한다.
• 이 접근 방식은 일반화 가능하며, 트랜스포머를 초월한 새로운 딥 러닝 워크로드 최적화에 통찰을 제공한다.
• 결과적으로, 메모리 기반 워크로드는 성능 향상을 위해 데이터 레이아웃의 아키텍처적 변화가 필요함을 입증한다.