[논문 리뷰] A Practical Online Method for Distributionally Deep Robust Optimization.

Qi Qi, Zhishuai Guo외 3명|arXiv (Cornell University)|2020. 06. 17.

Statistical Methods and Inference인용 수 6

한 줄 요약

이 논문은 딥 러닝에서 분포로버스트 최적화(DRO)를 위한 이중성 없는 온라인 확률적 방법을 제안한다. min-max 공식을 이중 변수를 제거함으로써 최소화 문제로 변환하여 고차원의 이중 변수를 피하고 효율적인 온라인 학습을 가능하게 한다. 폴리악-로자이에프스키(PL) 조건 하에서, 기존의 min-max 또는 최소화 공식화 방법에 비해 최적의 샘플 복잡도와 향상된 라운드 복잡도를 달성한다.

ABSTRACT

In this paper, we propose a practical online method for solving a distributionally robust optimization (DRO) for deep learning, which has important applications in machine learning for improving the robustness of neural networks. In the literature, most methods for solving DRO are based on stochastic primal-dual methods. However, primal-dual methods for deep DRO suffer from several drawbacks: (1) manipulating a high-dimensional dual variable corresponding to the size of data is time expensive; (2) they are not friendly to online learning where data is coming sequentially. To address these issues, we transform the min-max formulation into a minimization formulation and propose a practical duality-free online stochastic method for solving deep DRO with KL divergence regularization. The proposed online stochastic method resembles the practical stochastic Nesterov's method in several perspectives that are widely used for learning deep neural networks. Under a Polyak-Lojasiewicz (PL) condition, we prove that the proposed method can enjoy an optimal sample complexity and a better round complexity (the number of gradient evaluations divided by a fixed mini-batch size) with a moderate mini-batch size than existing algorithms for solving the min-max or min formulation of DRO. Of independent interest, the proposed method can be also used for solving a family of stochastic compositional problems.

연구 동기 및 목표

• 고차원의 이중 변수로 인해 원시-이중 방법이 딥 DRO에서 비효율적이므로 이를 해결하기 위해.
• 이중 변수 조작을 피하고 순차적 데이터에 대해 효율적으로 스케일링되는 실용적인 온라인 방법을 개발하기 위해.
• 폴리악-로자이에프스키(PL) 조건 하에서 딥 DRO의 최적 샘플 복잡도와 향상된 라운드 복잡도를 달성하기 위해.
• 스토케스틱 복합 문제의 더 넓은 클래스에 적용 가능하도록 하기 위해.

제안 방법

• 이중 변수를 제거함으로써 min-max DRO 공식을 최소화 문제로 변환하여 이중성 없는 접근을 가능하게 한다.
• 분포로버스트성을 다루기 위해 KL 발산 정규화를 통한 온라인 확률적 최적화 프레임워크를 활용한다.
• 빠른 수렴을 위해 실용적인 확률적 네스테로프 방법을 영감으로 삼아 모멘텀 유사 업데이트를 활용한다.
• 고정된 미니배치 크기를 사용하고 반복마다 기울기 평가 횟수를 최소화함으로써 낮은 라운드 복잡도를 유지한다.
• 데이터가 순차적으로 도착하는 온라인 학습과 호환되도록 설계되어 있다.
• PL 조건을 활용하여 최적의 샘플 복잡도를 확보하는 수렴 보장을 수립한다.

실험 결과

연구 질문

• RQ1 이중성 없는 온라인 확률적 방법이 기존의 원시-이중 또는 min-max 방법에 비해 딥 DRO의 라운드 복잡도를 더 잘 개선할 수 있는가?
• RQ2 폴리악-로자이에프스키(PL) 조건 하에서 제안된 방법의 샘플 복잡도는 어떻게 되는가?
• RQ3 이 방법은 DRO를 초월한 스토케스틱 복합 문제에 효과적으로 적용될 수 있는가?
• RQ4 온라인 환경에서 중간 크기의 미니배치 크기로도 효율성과 확장성 유지가 가능한가?
• RQ5 PL 조건 하에서 이 방법의 이론적 수렴 행동은 어떠한가?

주요 결과

• 제안된 방법은 폴리악-로자이에프스키(PL) 조건 하에서 딥 DRO에 대해 최적의 샘플 복잡도를 달성한다.
• 기존의 min-max 또는 최소화 공식화를 통해 DRO를 해결하는 알고리즘에 비해 더 나은 라운드 복잡도를 보인다.
• 고차원의 이중 변수로 인한 계산 부담을 피함으로써 효율성이 향상된다.
• 이중성 없는 및 확률적 성격 덕분에 온라인 학습과 호환된다.
• 이 방법은 스토케스틱 복합 문제의 일족에 확장 가능하다.
• 이론적 분석은 중간 크기의 미니배치 크기로도 수렴을 확인하여 실용적 구현을 뒷받침한다.