[논문 리뷰] On Efficient Constructions of Checkpoints

Yu Chen, Zhenming Liu외 2명|arXiv (Cornell University)|2020. 09. 28.

Formal Methods in Verification인용 수 4

한 줄 요약

이 논문은 확률적 경사 하강법(SGD) 학습 환경에서 압축률을 극대화하고 복구 속도를 최적화하는 동시에 손실 압축 기법인 LC-Checkpoint를 제안한다. 기울기 변화량에 대해 지수 기반 양자화, 우선순위 강조 및 히프만 부호화를 조합함으로써 최대 28배의 압축률과 SCAR 대비 5.77배 빠른 복구 속도를 달성하여, 최소한의 오버헤드로 효율적이고 빈번한 체크포인팅을 가능하게 한다.

ABSTRACT

Efficient construction of checkpoints/snapshots is a critical tool for training and diagnosing deep learning models. In this paper, we propose a lossy compression scheme for checkpoint constructions (called LC-Checkpoint). LC-Checkpoint simultaneously maximizes the compression rate and optimizes the recovery speed, under the assumption that SGD is used to train the model. LC-Checkpointuses quantization and priority promotion to store the most crucial information for SGD to recover, and then uses a Huffman coding to leverage the non-uniform distribution of the gradient scales. Our extensive experiments show that LC-Checkpoint achieves a compression rate up to $28 imes$ and recovery speedup up to $5.77 imes$ over a state-of-the-art algorithm (SCAR).

연구 동기 및 목표

• 대규모 딥러닝 학습에서 빈번한 모델 체크포인팅으로 인한 증가하는 입출력(I/O) 및 스토리지 부담을 해결하기 위해.
• SGD 기반 학습 환경에서 압축률을 극대화하면서도 빠른 복구를 보장하는 손실 압축 기법을 설계하기 위해.
• 기울기 업데이트의 통계적 패턴과 학습 동역학을 활용하여 복구에 가장 중요한 정보만 식별하고 유지하기 위해.
• 분산 학습 및 모델 압축 기법을 통합하여 체크포인팅의 런타임 오버헤드를 최소화하기 위해.
• 실패나 충돌 이후 재작업을 줄이기 위해 세밀하고 빈번한 체크포인팅을 가능하게 하기 위해.

제안 방법

• 연속된 모델 상태 간의 차이만 저장하는 델타 인코딩을 사용하여 중복을 줄인다.
• 핵심 학습 정보를 유지하면서도 매개변수 업데이트를 압축하기 위해 지수 기반 양자화를 적용한다.
• 크게 변화한 매개변수를 식별하고 유지하는 우선순위 강조 메커니즘을 통해 미미한 변화가 있는 매개변수는 기각한다.
• 나머지 데이터는 기울기 크기 분포의 비균일성을 활용하여 히프만 부호화로 인코딩함으로써 정보 이론적 압축에 가까운 성능을 달성한다.
• 실험에서 반복마다 4% 미만의 오버헤드를 유발하는 등 효율적이고 확장 가능한 설계를 한다.
• 학습 알고리즘으로 SGD를 가정하고 실패 후 복구 시간을 최소화하는 데 집중하며, 재구성 정확도는 고려하지 않는다.

실험 결과

연구 질문

• RQ1 SGD 학습 환경에서 고압축률과 동시에 빠른 복구를 보장하는 손실 압축 기법을 설계할 수 있는가?
• RQ2 학습 복구에 가장 중요한 정보만 식별하고 유지할 수 있는가?
• RQ3 분산 학습 및 모델 압축 기법을 어떻게 융합하여 체크포인팅 효율을 최적화할 수 있는가?
• RQ4 빈번한 체크포인팅에서 압축률, 복구 속도, 런타임 오버헤드 사이의 상호 상충 관계는 어떠한가?
• RQ5 딥러닝에서 기울기 크기 분포의 비균일성을 활용하면 근사 최적의 압축을 달성할 수 있는가?

주요 결과

• LC-Checkpoint는 전체 모델 체크포인트 대비 최대 28배의 압축률을 달성한다.
• 최신 기술인 SCAR 대비 최대 5.77배 빠른 복구 속도를 제공한다.
• MovieLens25M 실험에서 LC-Checkpoint는 전체 체크포인팅 대비 546초의 학습 시간 절감을 기록했으며, 반복당 추가 오버헤드는 4초에 불과했다.
• 3비트 우선순위 강조를 사용하여 체크포인트 크기를 원래 크기의 10% 이하로 줄였다.
• 실행 시간 오버헤드가 극히 낮아 반복당 4% 미만으로, 자주 체크포인팅하는 데 적합하다.
• 학습 동역학에 기반한 선택적 압축을 통해 임의의 정보를 제거함으로써 SCAR를 능가하는 성능을 발휘한다.