[논문 리뷰] Biased Stochastic First-Order Methods for Conditional Stochastic Optimization and Applications in Meta Learning

Yifan Hu, Siqi Zhang외 2명|arXiv (Cornell University)|2020. 02. 25.

Stochastic Gradient Optimization Techniques참고 문헌 39인용 수 15

한 줄 요약

이 논문은 메타학습, 인과적 추론, 내성적 학습에서 발생하는 중첩 기댓값을 포함하는 조건부 확률적 최적화(CSO) 문제의 클래스를 위한 편향된 확률적 경사하강법(BSGD)을 제안한다. 조건부 샘플의 미니배치를 사용하여 편향된 경사 추정기를 구성함으로써, BSGD는 개선된 샘플 복잡도를 달성한다 — 강凸, 凸, 약凸 목적 함수에 대해 수렴 속도가 SAA와 동일하거나 이를 초월한다. 이는 MAML, 불변 회귀, 도구 변수 문제에서 입증되었다.

ABSTRACT

Conditional stochastic optimization covers a variety of applications ranging from invariant learning and causal inference to meta-learning. However, constructing unbiased gradient estimators for such problems is challenging due to the composition structure. As an alternative, we propose a biased stochastic gradient descent (BSGD) algorithm and study the bias-variance tradeoff under different structural assumptions. We establish the sample complexities of BSGD for strongly convex, convex, and weakly convex objectives under smooth and non-smooth conditions. Our lower bound analysis shows that the sample complexities of BSGD cannot be improved for general convex objectives and nonconvex objectives except for smooth nonconvex objectives with Lipschitz continuous gradient estimator. For this special setting, we propose an accelerated algorithm called biased SpiderBoost (BSpiderBoost) that matches the lower bound complexity. We further conduct numerical experiments on invariant logistic regression and model-agnostic meta-learning to illustrate the performance of BSGD and BSpiderBoost.

연구 동기 및 목표

• CSO 문제의 중첩적이고 복합적인 구조로 인해 비편향 경사 추정기를 구성하는 데 도전하는 문제를 해결하기 위해.
• 여러 개의 조건부 분포에서 샘플을 확보할 수 있을 때, CSO에 대한 실용적이고 효율적인 일阶 최적화 방법을 개발하기 위해.
• 목적 함수의 다양한 부드러움과 볼록성 가정 하에 BSGD의 이론적 샘플 복잡도 한계를 수립하기 위해.
• 凸 CSO에 대해 일치하는 하한을 제공하여 BSGD의 수렴 속도가 최적임을 검증하기 위해.
• 실제 응용 사례에서 BSGD의 실험적 검증을 위해 메타학습(MAML), 내성적 로지스틱 회귀, 도구 변수 회귀를 포함한다.

제안 방법

• CSO를 위한 일阶 방법으로서 편향된 확률적 경사하강법(BSGD)을 제안하며, 조건부 샘플의 미니배치를 사용하여 편향된 경사 추정기를 구성한다.
• 내부 미니배치 크기 $ m $ 에 기반한 경사 추정기의 편향과 분산의 한계를 유도하며, $ m $ 이 클수록 편향이 감소함을 보여준다.
• 강凸, 凸, 약凸 조건 하에서 BSGD의 수렴 속도를 확립하며, 외부 함수 $ f_{\theta} $ 가 부드럽거나 리프시츠 연속일 경우 별도로 분석한다.
• CSO의 복합적 구조를 고려하여 기대 부분 최적성 및 정류 오차를 bound하는 새로운 분석 프레임워크를 사용한다.
• 초기 설정에 맞게 하이퍼파rameter를 조정하여, 내성적 로지스틱 회귀, 모델에 종속적이지 않은 메타학습(MAML), 도구 변수 회귀의 세 가지 응용에 적용한다.
• 고정된 총 샘플 수 $ Q $ 를 가진 실험에서 BSGD를 샘플 평균 근사(SAA) 및 기타 기준 방법(예: FO-MAML, Adam)과 비교한다.

실험 결과

연구 질문

• RQ1 편향된 확률적 경사 방법이 조건부 확률적 최적화에서 SAA보다 더 나은 샘플 복잡도를 달성할 수 있는가?
• RQ2 다양한 구조적 가정 하에서 CSO의 경사 추정에서 편향과 분산 간 최적의 트레이드오프는 무엇인가?
• RQ3 BSGD는 메타학습(MAML), 불변 회귀, 도구 변수 문제에서 실제로 어떻게 성능을 발휘하는가?
• RQ4 BSGD의 이론적 샘플 복잡도 한계가 일치하는 하한을 통해 타당성이 검증되는가?
• RQ5 BSGD는 수렴 속도와 최종 목적 함수 값 측면에서 기존 기준 방법인 Adam과 FO-MAML를 능가하는가?

주요 결과

• 강凸 목적 함수에 대해 부드러운 $ f_{\xi} $ 를 가질 경우, BSGD는 $ \widetilde{\mathcal{O}}(\epsilon^{-2}) $ 의 샘플 복잡도를 달성하며, SAA의 최고 성능 수렴 속도와 일치한다.
• 凸 목적 함수에 대해 부드러운 $ f_{\xi} $ 를 가질 경우, BSGD는 $ \mathcal{O}(\epsilon^{-3}) $ 의 복잡도를 달성하며, Hu 등(2019)의 SAA 결과와 동일한 속도를 보인다.
• 약凸의 경우, 부드러운 $ f_{\xi} $ 를 가질 경우 BSGD는 $ \mathcal{O}(\epsilon^{-6}) $ 의 복잡도를 달성하며, SAA의 $ \widetilde{\mathcal{O}}(\epsilon^{-8}) $ 수준보다 우월하다.
• 수치 결과는 BSGD가 불변 로지스틱 회귀에서 특히 $ \sigma_2 $ 가 클 경우 SAA를 능가하며, 모든 $ Q $ 와 $ m $ 설정에서 더 낮은 목적 함수 값을 기록한다.
• MAML 실험에서 BSGD는 $ Q = 10^7 $, $ m = 10 $ 일 때 평균 목적 함수 값이 가장 낮게 나타나, 최종 목적 함수 값과 안정성 측면에서 FO-MAML와 Adam을 모두 능가한다.
• 내부 배치 크기 $ m $ 가 다양한 경우에도 BSGD는 일관된 성능과 낮은 분산을 보이며, 특히 고노이즈 환경에서 뛰어난 내성성을 입증한다.