[논문 리뷰] ASAGA: Asynchronous Parallel SAGA

Rémi Leblond, Fabián Pedregosa외 1명|arXiv (Cornell University)|2016. 06. 15.

Stochastic Gradient Optimization Techniques참고 문헌 3인용 수 12

한 줄 요약

이 논문은 유한합 최적화를 위한 비동기 병렬 버전인 Asaga를 소개한다. Asaga는 희소성 가정 없이 선형 수렴를 달성하며, 편향 없는 반복 프레임워크를 단순화하고 수렴 증명에서 발생하는 핵심 기술적 모순을 해결함으로써 다중 코어 시스템에서 이론적으로 선형 속도 향상을 달성한다. 또한 40코어 아키텍처에서 실용적인 성능 향상을 보이며, 비교-스왑 연산이 사용될 경우에만 수렴이 보장된다.

ABSTRACT

We describe ASAGA, an asynchronous parallel version of the incremental gradient algorithm SAGA that enjoys fast linear convergence rates. Through a novel perspective, we revisit and clarify a subtle but important technical issue present in a large fraction of the recent convergence rate proofs for asynchronous parallel optimization algorithms, and propose a simplification of the recently introduced "perturbed iterate" framework that resolves it. We thereby prove that ASAGA can obtain a theoretical linear speedup on multi-core systems even without sparsity assumptions. We present results of an implementation on a 40-core architecture illustrating the practical speedup as well as the hardware overhead.

연구 동기 및 목표

• 유한합 문제를 위한 효율적이고 락 없는 비동기 병렬 최적화 알고리즘을 개발하기 위해.
• 특히 편향 없는 기울기 가정과 증명 기법 사이의 불일치로 인해 발생하는 비동기 확률적 알고리즘의 수렴 증명에서의 근본적인 기술적 모순을 해결하기 위해.
• 희소성 조건이 없더라도 잘 조절된 설정에서 선형 속도 향상이 이론적으로 가능함을 증명하기 위해.
• 40코어 시스템에서 Asaga를 구현하고 평가하여 비동기 SGD 및 SVRG 변종 대비 실용적인 성능 향상을 입증하기 위해.

제안 방법

• 병렬 실행에 적합한 SAGA 알고리즘의 희소 버전을 제안한다.
• 일致한 읽기 없이 비교-스왑 명령어를 사용하여 스레드 안정성을 확보하는 락 없는 비동기 병렬 알고리즘인 Asaga를 도입한다.
• Mania 등 (2015)의 편향된 반복 프레임워크를 단순화하여 유한 기울기 조건이 필요 없도록 하고 수렴 분석을 강화한다.
• 비제약 설정과 부합하지 않는 가정을 제거하기 위해 반복에 대한 새로운 레이블링 체계와 더 엄밀한 부등식을 도입한다.
• 선형 모델에서 효율적인 저장을 위해 각 기울기당 하나의 스칼라를 사용하여 메모리 오버헤드를 감소시킨다.
• 원자 연산을 통해 비동기적으로 업데이트되는 공유 메모리에 유지되는 전역 평균 기울기 추정치를 활용한다.

실험 결과

연구 질문

• RQ1 비동기 병렬 SAGA가 희소성 가정 없이도 선형 수렴를 달성할 수 있는가?
• RQ2 기존 비동기 알고리즘에서 편향 없는 기울기 가정과 증명 기법 사이의 불일치가 이론적으로 어떤 영향을 미치는가?
• RQ3 Asaga는 다중 코어 시스템에서 선형 속도 향상을 달성하는가? 어떤 조건에서 가능한가?
• RQ4 비원자 연산 대비 비교-스왑 연산의 사용이 실질적으로 수렴에 어떤 영향을 미치는가?
• RQ5 제안된 수렴 분석 프레임워크는 엄밀함을 유지하면서도 일관되지 않은 가정을 제거하고 단순화될 수 있는가?

주요 결과

• Overlap 범위 τ ≤ O(n) 및 τ ≤ O(1/√Δ × max{1, n/κ}) 조건 하에서 Asaga는 원래 SAGA 알고리즘과 동일한 기하학적 수렴 속도를 매 업데이트 단위로 달성한다.
• 희소성 조건이 없더라도 특히 n ≫ κ 인 잘 조절된 영역에서는 이론적으로 선형 속도 향상이 가능하다.
• 실용적인 40코어 구현에서 Asaga는 비동기 SGD 및 SVRG 변종 대비 뚜렷한 성능 향상을 보였다.
• 구현에서 스레드 안정성 없는 연산은 특정 부적합 수준을 초과하면 수렴하지 못하지만, 비교-스왑 연산을 사용할 경우 기계 정밀도 수준까지 수렴이 보장된다.
• Asaga의 최적 스텝 사이즈는 코어 수에 관계없이 안정적으로 유지되며, 병렬화 스케일에 대해 강건함을 보였다.
• 구현은 각 기울기당 하나의 스칼라를 사용하여 선형 모델에서 효율적인 메모리 사용을 가능하게 했다.