[논문 리뷰] SGD with Hardness Weighted Sampling for Distributionally Robust Deep Learning

Lucas Fidon, Sébastien Ourselin외 1명|arXiv (Cornell University)|2019. 09. 25.

Risk and Portfolio Optimization참고 문헌 11인용 수 6

한 줄 요약

이 논문은 딥러닝에서 분포로 부동 최적화(Distributionally Robust Optimization, DRO)를 위한 효율적이고 원리적인 최적화 방법인 경사하강법(Hardness Weighted Sampling, HWS)을 제안한다. 손실 이력과 소프트맥스 기반 가중치 부여 방식을 통해 예측이 어려운 예제들을 적응적으로 재샘플링함으로써, 과도하게 파rameter화된 ReLU 신경망에서 수렴성을 확보하면서도 표준 SGD의 계산 효율성과 동일하며, 수시로 시행되는 히وري스틱한 하드 마이닝 전략보다 뛰어난 성능을 보인다.

ABSTRACT

Distributionally Robust Optimization (DRO) has been proposed as an alternative to Empirical Risk Minimization (ERM) in order to account for potential biases in the training data distribution. However, its use in deep learning has been severely restricted due to the relative inefficiency of the optimizers available for DRO in comparison to the wide-spread Stochastic Gradient Descent (SGD) based optimizers for deep learning with ERM. We propose SGD with Hardness weighted sampling, an efficient optimization method for machine learning with DRO with a focus on deep learning. In this work, we propose SGD with hardness weighted sampling, a principled and efficient optimization method for DRO in machine learning that is particularly suited in the context of deep learning. We show that our optimization method can be interpreted as a principled Hard Example Mining strategy. Similar to an online hard example mining strategy in essence and in practice, the proposed algorithm is straightforward to implement and computationally as efficient as SGD-based optimizers used for deep learning. It only requires adding a softmax layer and maintaining a history of the loss values for each training example to compute adaptive sampling probabilities. In contrast to typical ad hoc hard mining approaches, and exploiting recent theoretical results in deep learning optimization, we We also prove the convergence of our DRO algorithm for over-parameterized deep learning networks with ReLU activation and finite number of layers and parameters. Preliminary results demonstrate the feasibility and usefulness of our approach.

연구 동기 및 목표

• 데이터 분포 변화에 강건한 성능을 보이지만, 실제 적용이 제한되는 기존 DRO 최적화 방법의 비효율성을 해결한다.
• 표준 SGD 기반 훈련 파이프라인과 호환되는 방법을 설계하여 DRO의 계산 병목 현상을 해결한다.
• 딥러닝 최적화 이론적 통찰을 활용한 히وري스틱한 하드 예제 마이닝의 대안을 원리적으로 개발한다.
• 과도하게 파rameter화된 깊은 신경망(ReLU 활성화 함수, 유한 깊이)에서 제안된 DRO 알고리즘의 수렴성을 보장한다.
• 최소한의 아키텍처 및 계산적 오버헤드로 실세계 딥러닝 응용에 DRO를 실용적으로 구현할 수 있도록 한다.

제안 방법

• 손실 이력에 기반한 소프트맥스 변환을 통해 이전 손실 값이 높은 훈련 예제에게 더 높은 샘플링 확률을 할당하는 동적 샘플링 전략을 도입한다.
• 각 훈련 예제의 손실 값 기록을 지속적으로 유지하여 적응형 샘플링 가중치를 계산함으로써, 시간이 지남에 따라 어려운 예제에 집중할 수 있도록 한다.
• 각 훈련 단계에서 샘플링 분포를 수정함으로써 샘플링 메커니즘을 SGD에 통합함으로써 표준 SGD의 단순성과 효율성을 유지한다.
• 이 방법은 DRO 이론에 엄밀히 기반하며, 이론적 수렴 보장을 갖춘 원리적인 온라인 하드 예제 마이닝 전략으로 해석할 수 있다.
• 표준 DRO 가정 하에 과도하게 파rameter화된 깊은 신경망(ReLU 활성화 함수, 유한 깊이)에서 수렴성을 증명한다.
• 표준 딥러닝 훈련 파이프라인에 비해 추가로 소프트맥스 계층 하나와 손실 이력 추적 기능만 필요로 하며, 변경 사항이 최소한이다.

실험 결과

연구 질문

• RQ1 DRO는 딥러닝에서 실용적으로 사용할 수 있도록 계산 효율성을 충분히 확보할 수 있는가?
• RQ2 하드 예제 마이닝은 DRO 프레임워크 내에서 원리적인 최적화 전략으로 어떻게 형식화할 수 있는가?
• RQ3 제안된 하드니스 가중 샘플링 방법은 과도하게 파arameter화된 깊은 신경망(ReLU 활성화 함수)에서 수렴하는가?
• RQ4 이 방법은 ERM 기반 SGD와 유사한 성능을 달성하면서도 분포 이탈에 대한 강건성을 향상시킬 수 있는가?
• RQ5 적응형 샘플링은 DRO 훈련에서 일반화 및 수렴에 어떤 영향을 미치는가?

주요 결과

• 제안된 HWS 방법은 표준 SGD와 유사한 계산 효율성을 확보하여 딥러닝 시스템에서 실용적인 구현이 가능하다.
• 과도하게 파arameter화된 깊은 신경망(ReLU 활성화 함수, 유한 깊이)에서 이론적으로 수렴성이 입증된다.
• HWS는 히وري스틱한 접근 방식의 비합리성 없이 원리적인 온라인 하드 예제 마이닝 전략으로 해석될 수 있다.
• 단지 소프트맥스 계층 하나와 손실 이력 추적 기능만 추가로 필요로 하여, 기존 훈련 파이프라인에 쉽게 통합할 수 있다.
• 초기 결과는 이 방법이 계산 비용을 크게 증가시키지 않으면서도 강건성을 향상시키는 데 가능하고 효과적임을 확인한다.
• 이 방법은 SGD의 단순성과 확장성을 유지하면서도 분포로 부동 훈련을 가능하게 하여, DRO와 표준 딥러닝 최적화 간 격차를 메운다.