[논문 리뷰] Semi-Cyclic Stochastic Gradient Descent

Hubert Eichner, Tomer Koren외 3명|arXiv (Cornell University)|2019. 04. 23.

Stochastic Gradient Optimization Techniques인용 수 18

한 줄 요약

이 논문은 이방형(i.i.d.) SGD와 동일한 수렴 보장을 유지하면서 블록 순환 데이터 샘플링에서도 성능을 보장하는 다수의 반복적 순환 확률적 경사 하강법(Pluralistic Semi-Cyclic SGD, SC-SGD)을 제안한다. 여기서 데이터는 이질적인 블록 간 고정 순서의 사이클로 추출된다. 각 블록 별로 별도의 모델을 훈련하고 단순 평균화 전략을 통해 통합함으로써, 조건이 매우 열악한 경우조차도 오차 한계가 저하되지 않으며, 두 개의 블록이 있을 때조차도 공통 모델보다 실질적으로 뛰어난 성능을 발휘한다.

ABSTRACT

We consider convex SGD updates with a block-cyclic structure, i.e. where each cycle consists of a small number of blocks, each with many samples from a possibly different, block-specific, distribution. This situation arises, e.g., in Federated Learning where the mobile devices available for updates at different times during the day have different characteristics. We show that such block-cyclic structure can significantly deteriorate the performance of SGD, but propose a simple approach that allows prediction with the same performance guarantees as for i.i.d., non-cyclic, sampling.

연구 동기 및 목표

• 블록 순환 순서로 데이터를 샘플링할 경우 표준 SGD의 성능 저하를 분석하며, 특히 일주기적 장치 가용성 변화가 있는 피어드러닝 환경에서의 영향을 고려한다.
• 표준 SGD는 블록 순환 샘플링 조건에서도 심지어 두 개의 블록일지라도 사이클 간 지속적인 분포 이탈로 인해 실패함을 입증한다.
• 블록 수나 순환 구조에 관계없이 이방형 SGD와 동일한 수렴 보장을 유지하는 다수의 접근 방식을 제안한다.
• 블록 분포가 상당히 다를 경우, 다수의 모델이 공통 모델과 이상적인 이방형 기준 모델보다 실증적으로 뛰어난 성능을 발휘함을 보여준다.

제안 방법

• 데이터를 m개의 블록별 고유 분포의 혼합으로 모델링하고, 블록 간 고정 순서의 사이클로 샘플링한다.
• 각 블록에 대해 별도의 모델을 할당하고, 독립적인 SGD 체인을 통해 훈련하는 다수의 훈련 전략을 도입한다.
• 각 블록의 최신 모델 반복값을 단순 평균화하여 최종 예측기로 조합함으로써 강건성과 수렴 보장을 확보한다.
• 이 다수의 접근 방식이 블록 순환 샘플링의 악성 경우에도 여전히 이방형 SGD와 동일한 O(√(B²/T)) 오차 한계를 확보함을 증명한다.
• 블록 간 성능를 균형 잡는 헤지된 변형을 제안하며, 블록 간 차이가 클 경우 이방형 기준 모델과 동등하거나 이를 초월하는 성능을 달성한다.
• 실제 일주기 패턴을 가진 데이터를 사용한 감성 분류 작업에서 실증적으로 검증하며, 공통 모델과 다수의 모델을 비교한다.

실험 결과

연구 질문

• RQ1 고정 순서의 사이클로 다른 분포에서 데이터를 추출하는 블록 순환 샘플링 조건에서도 표준 SGD가 최적의 수렴 보장을 유지할 수 있는가?
• RQ2 심지어 각 블록에 매우 많은 샘플이 포함되어 있을지라도, 사이클 내에서 두 개의 블록만 존재할 경우 SGD의 성능이 무한정 악화되는가?
• RQ3 각 블록 별로 별도의 예측기(예측 모델)를 훈련하는 다수의 모델 접근 방식이 블록 순환 샘플링 조건에서도 이방형 SGD와 동일한 수렴 보장을 달성할 수 있는가?
• RQ4 블록 분포가 상당히 다를 경우, 다수의 모델 접근 방식이 이상적인 이방형 기준 모델보다 경쟁력 있거나 승리하는가?
• RQ5 블록 간 성능을 균형 잡는 헤지된 다수의 모델 접근 방식은 블록 간 차이가 클 경우에도 강력한 성능을 유지하며, 이방형 훈련보다 뛰어나거나 동등한 정확도를 달성할 수 있는가?

주요 결과

• 블록 순환 샘플링은 심지어 두 개의 블록일지라도 사이클 간 지속적인 분포 이탈로 인해 표준 SGD의 성능을 극도로 악화시킬 수 있다.
• 제안된 다수의 접근 방식은 블록 수나 순환 구조에 관계없이 이방형 SGD와 동일한 O(√(B²/T)) 수렴 보장을 확보한다.
• 실증 결과에 따르면, 블록 분포가 다를 경우 블록 순환 데이터에서 훈련된 다수의 모델이 공통 모델보다 뛰어난 성능을 발휘한다.
• 다수의 모델은 이상적인 이방형 기준 모델과 동등하거나 이를 초월하며, 이는 이질성을 수용함으로써 일반화 성능이 향상됨을 보여준다.
• 블록 간 차이가 클 경우 헤지된 다수의 모델 변형은 블록 간 강력한 성능 유지를 유지하며, 이방형 훈련보다 뛰어나거나 동등한 정확도를 달성한다.