[논문 리뷰] Variance-based regularization with convex objectives

John C. Duchi, Hongseok Namkoong|arXiv (Cornell University)|2016. 10. 08.

Risk and Portfolio Optimization인용 수 21

한 줄 요약

이 논문은 분포로 내성적인 최적화와 오웬의 경험적 우도를 활용하여 분산 기반의 리스크 최소화를 근사하는 볼록적이고 계산이 용이한 정규화 방법을 제안한다. 편향과 분산을 균형 있게 조절함으로써 경험 리스크 최소화보다 빠른 수렴 속도를 달성하며, 이론적 보장과 실험적 검증을 통해 샘플 외 성능 향상을 입증한다.

ABSTRACT

We develop an approach to risk minimization and stochastic optimization that provides a convex surrogate for variance, allowing near-optimal and computationally efficient trading between approximation and estimation error. Our approach builds off of techniques for distributionally robust optimization and Owen's empirical likelihood, and we provide a number of finite-sample and asymptotic results characterizing the theoretical performance of the estimator. In particular, we show that our procedure comes with certificates of optimality, achieving (in some scenarios) faster rates of convergence than empirical risk minimization by virtue of automatically balancing bias and variance. We give corroborating empirical evidence showing that in practice, the estimator indeed trades between variance and absolute performance on a training sample, improving out-of-sample (test) performance over standard empirical risk minimization for a number of classification problems.

연구 동기 및 목표

• 근사 오차와 추정 오차를 균형 있게 조절하면서 효율적인 계산을 가능하게 하는 분산에 기반한 볼록 대체 함수를 개발하는 것.
• 실제로 계산이 불가능한 비볼록적 분산 정규화 리스크 최소화의 이론적으로 타당한 대안을 제공하는 것.
• 특히 유한 표본 설정에서 편향과 분산을 체계적으로 트레이드오프함으로써 일반화 성능을 향상시키는 것.
• 제안된 강건한 정규화 추정량에 대해 유한 표본 및 渐近 수렴 보장을 수립하는 것.
• 실험적으로 이 방법이 표준 경험 리스크 최소화보다 분류 과제에서 뛰어난 성능을 보임을 보여주는 것.

제안 방법

• 경험 분포 주변의 χ²-발산 이웃을 활용한 분포로 내성적인 최적화 프레임워크를 사용하여 강건한 리스크 함수를 정의한다.
• 손실 함수가 볼록일 경우, 경험 측도 주변 ρ-반경의 χ²-구역 내 분포에 대한 기대 손실의 상한으로서 강건한 리스크를 정의하며, 이는 볼록성을 보장한다.
• 강건한 리스크가 인구 리스크에 대해 O(1/n)-근사임을 보이며, 주요 항으로는 분산 보정 경험 리스크와 작은 음수 오차 항이 포함된다.
• 최적화 문제는 이중 분해를 통해 해결되며, 이중 변수 λ에 대한 일변도 볼록 최적화 문제로 축소되며, 이는 이진 탐색을 통해 해결할 수 있다.
• 핵심 서브루틴은 정렬된 손실 값과 누적 합을 활용하여 최적의 확률 가중치를 계산하며, 이로 인해 반복마다 O(log n) 시간 복잡도를 달성한다.
• 알고리즘은 두 단계 절차를 통해 샘플 점들에 대한 최적의 분포를 효율적으로 계산한다: 활성 인덱스 집합을 찾고, 이진 탐색을 통해 이동 파라미터 η를 구한다.

실험 결과

연구 질문

• RQ1 분산 기반 정규화를 위한 볼록 대체 함수를 구성할 수 있는가? 이는 이론적 최적성과 계산 가능성을 유지해야 한다.
• RQ2 제안된 강건한 리스크 형식이 편향과 분산을 균형 있게 조절함으로써 경험 리스크 최소화보다 더 빠른 수렴 속도를 달성하는가?
• RQ3 유한 표본 설정에서 강건하게 정규화된 추정량은 표준 경험 리스크 최소화보다 어떻게 성능을 발휘하는가?
• RQ4 강건한 리스크와 분산 보정 경험 리스크 (3) 사이의 근사 품질 관계는 어떠한가?
• RQ5 특히 고차원 또는 대규모 설정에서 저비용의 계산 오버헤드로 효율적으로 구현 가능한가?

주요 결과

• 강건한 리스크 $ R_n(\theta, \rho) $ 는 인구 리스크에 대해 $ O(1/n) $-근사이며, 경험 리스크 최소화의 $ O(1/\sqrt{n}) $-한계보다 훨씬 더 날카롭다.
• 일부 시나리오에서 편향과 분산을 자동으로 균형 있게 조절함으로써 경험 리스크 최소화보다 더 빠른 수렴 속도를 달성한다.
• 강건한 리스크가 분산 정규화 리스크 (3)에 대해 근사적으로 가까운 값을 가지며, 오차 항 $ \rho_n(\theta) \leq 0 $ 이 $ O_P(1/n) $ 임을 보이며, 분산이 클 경우 높은 확률로 소멸한다.
• 실험 결과는 표준 경험 리스크 최소화보다 여러 분류 과제에서 샘플 외 성능 향상을 입증한다.
• 최적화 절차는 계산적으로 효율적이며, 손실 값 정렬 후에는 $ O(\log(1/\epsilon) \cdot \log n) $ 시간이 소요되어 확장 가능하다.
• 이 방법은 최적성 증명을 제공하며, 모든 볼록 손실 함수에 적용 가능하여 전체 목표 함수의 볼록성을 보장한다.