[논문 리뷰] Stochastic Gradient Descent with Biased but Consistent Gradient Estimators

Jie Chen, Ronny Luss|arXiv (Cornell University)|2018. 07. 31.

Stochastic Gradient Optimization Techniques참고 문헌 29인용 수 26

한 줄 요약

이 논문은 강한 볼록, 볼록, 비볼록 목표 함수에서 일관되지만 편향이 있는 기울기 추정기와 함께 확률적 경사 하강법(SGD)이 비편향된 SGD와 동일한 수렴 행동을 보임을 입증한다. 주요 기여는 그래프 구조 학습에서 비편향 기울기가 계산적으로 비현실적인 경우에 특히 유용한 일관된 추정기들이 비편향 추정기들과 비교할 만한 수렴 속도를 유지함을 이론적으로 증명한 것이다. 이는 그래프 신경망과 같은 모델의 효율적 훈련을 가능하게 한다.

ABSTRACT

Stochastic gradient descent (SGD), which dates back to the 1950s, is one of the most popular and effective approaches for performing stochastic optimization. Research on SGD resurged recently in machine learning for optimizing convex loss functions and training nonconvex deep neural networks. The theory assumes that one can easily compute an unbiased gradient estimator, which is usually the case due to the sample average nature of empirical risk minimization. There exist, however, many scenarios (e.g., graphs) where an unbiased estimator may be as expensive to compute as the full gradient because training examples are interconnected. Recently, Chen et al. (2018) proposed using a consistent gradient estimator as an economic alternative. Encouraged by empirical success, we show, in a general setting, that consistent estimators result in the same convergence behavior as do unbiased ones. Our analysis covers strongly convex, convex, and nonconvex objectives. We verify the results with illustrative experiments on synthetic and real-world data. This work opens several new research directions, including the development of more efficient SGD updates with consistent estimators and the design of efficient training algorithms for large-scale graphs.

연구 동기 및 목표

• 일관된(편향된) 기울기 추정기를 사용할 때 SGD의 수렴 행동을 분석하는 것.
• 큰 이웃 영역을 통한 정보 집계가 필요한 그래프 기반 학습에서 비편향 기울기 계산의 계산적 한계를 해결하는 것.
• 일반 최적화 설정에서 일관된 추정기가 비편향 추정기들과 동일한 수렴 속도를 제공함을 보여주는 것.
• 편향된 추정기를 사용하는 SGD에 대한 이론적 보장을 제공하여 경험적 성공을 넘어서 공식적인 수렴 분석으로 확장하는 것.
• 대규모 그래프 구조 데이터를 위한 효율적이고 확장 가능한 훈련 알고리즘 설계에 새로운 연구 방향을 열어주는 것.

제안 방법

• 표본 크기가 증가함에 따라 진짜 기울기 $ \nabla f(w_k) $로 확률적으로 수렴하는 일관된 기울기 추정기 $ g_k $를 사용한 SGD의 이론적 분석.
• 기대값 기반의 경계가 아닌 확률적 수렴 경계를 사용하여 일관된 추정기의 특성을 반영한 오차 분석.
• 집중 불등식과 尾확률 분석을 적용하여 일관된 추정기의 수렴 속도를 정량화하는 것.
• 1층 및 2층 GCN을 사용하여 합성 데이터와 실제 그래프 데이터셋(Cora, Pubmed, Mixture)에서의 실험적 검증.
• 볼록 및 비볼록 설정에서 일관된 추정기를 사용한 SGD와 비편향 SGD, 그리고 Adam 간의 수렴 곡선 비교.
• GCN에서 일관된 추정기가 실패 확률의 지수 또는 그 이상의 빠른 꼬리 감쇠를 보이며 실용적 타당성을 뒷받침함을 보여주는 것.

실험 결과

연구 질문

• RQ1 강한 볼록 설정에서 일관된 기울기 추정기를 사용한 SGD가 비편향 추정기와 동일한 속도로 수렴하는가?
• RQ2 일관된 기울기 추정기는 볼록 및 비볼록 최적화 문제, 예를 들어 깊은 그래프 신경망 훈련에서 수렴을 유지할 수 있는가?
• RQ3 실제 그래프 데이터에서 일관된 추정기의 수렴 행동이 비편향 SGD와 Adam과 비교해 실제로 어떻게 되는가?
• RQ4 일관된 기울기 추정기의 수렴 속도는 꼬리 확률 측면에서 어떤가? 이는 실용적 구현을 뒷받침하는가?
• RQ5 GCN 이외의 메시지 전파 신경망에서 비편향 기울기의 스케일러블한 대안으로 일관된 추정기를 사용할 수 있는가?

주요 결과

• 일관된 기울기 추정기를 사용한 SGD는 강한 볼록, 볼록, 비볼록 설정 모두에서 비편향 SGD와 동일한 수렴 행동을 보인다.
• 실험 결과로, 일관된 추정기를 사용한 SGD의 수렴 곡선이 합성 데이터 및 실제 그래프 데이터에서 비편향 SGD와 Adam과 거의 일치함을 확인하였다.
• 1층 GCN에서는 일관된 기울기 추정기의 실패 확률이 표본 크기와 함께 지수보다 빠르게 감소함을 확인하여 빠른 수렴을 나타낸다.
• 2층 GCN에서는 실패 확률이 약 지수 감쇠를 보이며, 지수 꼬리 가정의 타당성을 뒷받침한다.
• 작은 표본 크기(예: 400)로도 최신 기술 수준의 모델과 비교해 유사한 성능을 달성할 수 있도록 허용한다.
• 이론적 프레임워크는 편향되지만 일관된 기울기를 사용하는 훈련 알고리즘에 대해 수렴 보장을 제공하며, 이는 쌍대 손실을 사용한 랭킹 학습 등에도 적용 가능하다.