[논문 리뷰] Ordered SGD: A New Stochastic Optimization Framework for Empirical Risk Minimization

Kenji Kawaguchi, Haihao Lu|arXiv (Cornell University)|2019. 07. 09.

Stochastic Gradient Optimization Techniques참고 문헌 34인용 수 15

한 줄 요약

이 논문은 훈련 중 현재 손실이 높은 샘플을 우선순위에 두어 일반화 성능을 향상시키는 새로운 확률적 최적화 프레임워크인 Ordered SGD를 소개한다. 기존의 표준 SGD와 달리, 각 미니배치에서 손실이 높은 상위-$q$개의 샘플을 기반으로 편향된 기울기 추정기를 사용하여, 로지스틱 회귀, 서포트 벡터 머신, 딥 러닝 모델 전반에 걸쳐 부분선형 수렴과 향상된 테스트 정확도를 달성한다.

ABSTRACT

We propose a new stochastic optimization framework for empirical risk minimization problems such as those that arise in machine learning. The traditional approaches, such as (mini-batch) stochastic gradient descent (SGD), utilize an unbiased gradient estimator of the empirical average loss. In contrast, we develop a computationally efficient method to construct a gradient estimator that is purposely biased toward those observations with higher current losses. On the theory side, we show that the proposed method minimizes a new ordered modification of the empirical average loss, and is guaranteed to converge at a sublinear rate to a global optimum for convex loss and to a critical point for weakly convex (non-convex) loss. Furthermore, we prove a new generalization bound for the proposed algorithm. On the empirical side, the numerical experiments show that our proposed method consistently improves the test errors compared with the standard mini-batch SGD in various models including SVM, logistic regression, and deep learning problems.

연구 동기 및 목표

• 훈련 중 중요도가 다를 수 있음에도 불구하고 모든 샘플을 동일하게 취급하는 표준 SGD의 균일 샘플링의 한계를 해결한다.
• 분류가 어려운 샘플이나 현재 손실이 높은 샘플에 최적화를 집중시켜 일반화 성능을 향상시킨다.
• 수렴 속도를 가속화하는 대신 새로운 목적 함수를 최소화하는 데 중점을 두어 계산 비용이 적은 중요도 기반 샘플링 SGD의 대안을 개발한다.
• 볼록 및 약간 볼록(비볼록) 설정 모두에서 수렴성과 일반화에 대한 이론적 보장을 제공한다.
• 딥 네URAL 네트워크, 로지스틱 회귀, 서포트 벡터 머신을 포함한 다양한 모델에서 일관된 테스트 오차 향상을 입증한다.

제안 방법

• 각 미니배치에서 현재 손실이 가장 높은 상위-$q$개의 샘플을 기반으로 기울기 계산을 위한 샘플링 전략을 제안한다.
• 미니배치 내 상위-$q$개의 손실 샘플만을 사용하여 편향된 기울기 추정기를 구성한다. 이는 $\tilde{g}^t \in \partial L_Q(\theta^t)$ 로 정의되며, $L_Q(\theta^t) = \frac{1}{q}\sum_{i\in Q} L_i(\theta^t)$ 이다.
• 전체 데이터셋에서 상위-$q$개의 손실 평균을 최소화하는 새로운 목적 함수인 순서화된 경험 위험 $L_q(\theta)$ 를 도입한다.
• 상위-$q$ 기울기 추정기를 사용한 표준 SGD 업데이트 규칙을 적용한다: $\theta^{t+1} = \theta^t - \eta_t \tilde{g}^t$.
• 기존 딥 러닝 프레임워크와 호환되며, Adam과 같은 다른 최적화 알고리즘으로도 확장 가능하다.
• 무작위 미니배치 샘플링과 상위-$q$ 손실 샘플 선택을 위한 탐욕적 선택을 포함하는 이중 단계 프로세스를 사용한다.

실험 결과

연구 질문

• RQ1 훈련 중 높은 손실을 가진 샘플에 집중함으로써 기계 학습 모델의 일반화 성능 향상이 가능한가?
• RQ2 상위-$q$ 손실 샘플에 기반한 편향된 기울기 추정기는 비편향된 SGD보다 더 나은 수렴성과 일반화 성능을 보일 수 있는가?
• RQ3 제안된 방법의 수렴 행동은 볼록 및 약간 볼록(비볼록) 손실 함수에 대해 어떻게 되는가?
• RQ4 다양한 모델과 데이터셋에서 Ordered SGD의 일반화 성능은 표준 미니배치 SGD와 비교해 어떻게 되는가?
• RQ5 제안된 프레임워크는 Adam이나 AdaGrad와 같은 다른 최적화 알고리즘으로도 확장 가능한가?

주요 결과

• Ordered SGD는 볼록 손실 함수에 대해 전역 최적점으로 부분선형 수렴하고, 약간 볼록(비볼록) 손실 함수에 대해서는 임계점으로 수렴한다.
• 이 방법은 표준 경험 평균 손실의 변형인 새로운 목적 함수인 순서화된 경험 위험 $L_q(\theta)$ 를 최소화한다.
• 일반적인 분류 및 회귀 문제에 적용 가능한 새로운 일반화 경계를 증명하였다.
• 수치 실험에서, SVM, 로지스틱 회귀, 딥 러닝 아키텍처 등 다양한 모델에서 표준 미니배치 SGD보다 항상 낮은 테스트 오차를 기록하였다.
• 미니배치 SGD에 최적화된 학습률을 사용할 때조차도 Ordered SGD는 낮은 테스트 오차를 기록했다 (예: 표준 증강을 사용한 CIFAR-10에서 6.46% 대비 6.94%).
• 특히 데이터 증강에 대해 강건한 성능 향상을 보였으며 (예: mixup를 사용한 경우 7.85% 향상), Ordered SGD가 데이터 증강에 잘 적응함을 시사한다.