[논문 리뷰] Distributionally Robust Optimization and Generalization in Kernel Methods

Matthew Staib, Stefanie Jegelka|arXiv (Cornell University)|2019. 05. 26.

Probabilistic and Robust Engineering Design인용 수 24

한 줄 요약

이 논문은 최대 평균 차이(MMD) 불확실성 집합을 사용한 분포로 보수 최적화(DRO)를 소개하며, 손실 함수의 힐버트 노름에 의한 정규화와 거의 동일하다는 것을 보여준다. 가우시안 커널 리지 회귀에 대한 새로운 일반화 증명을 제공하고, 분산 기반 정규화를 일반화하는 계산적으로 실현 가능한 근사치를 유도한다.

ABSTRACT

Distributionally robust optimization (DRO) has attracted attention in machine learning due to its connections to regularization, generalization, and robustness. Existing work has considered uncertainty sets based on phi-divergences and Wasserstein distances, each of which have drawbacks. In this paper, we study DRO with uncertainty sets measured via maximum mean discrepancy (MMD). We show that MMD DRO is roughly equivalent to regularization by the Hilbert norm and, as a byproduct, reveal deep connections to classic results in statistical learning. In particular, we obtain an alternative proof of a generalization bound for Gaussian kernel ridge regression via a DRO lense. The proof also suggests a new regularizer. Our results apply beyond kernel methods: we derive a generically applicable approximation of MMD DRO, and show that it generalizes recent work on variance-based regularization.

연구 동기 및 목표

• φ-발산과 워샤프트 링스 기반 기존 DRO 불확실성 집합의 한계를 해결하기 위해, 이는 진짜 데이터 분포를 배제하거나 강한 가정을 요구하기 때문이다.
• 진짜 데이터 분포를 합리적인 반경 가정 하에 포함하는 최대 평균 차이(MMD)를 사용한 새로운 DRO 프레임워크를 개발하기 위해.
• MMD DRO와 손실 함수의 재생 힐버트 공간(RKHS) 내에서의 정규화 사이의 이론적 연결을 수립하기 위해.
• 커널 방법을 초월해 적용 가능한 계산적으로 효율적인 MMD DRO 근사치를 유도하기 위해.
• 일반화 분석에 기반한 새로운 정규화자 제안을 위해: 가우시안 커널 리지 회귀에 대해.

제안 방법

• 실제 분포에서의 MMD 거리로 정의된 불확실성 집합을 사용해 MMD 기반 DRO를 분포로 보수 최적화 문제로 공식화한다.
• MMD DRO가 재생 힐버트 공간(RKHS) 내에서 손실 함수의 힐버트 노름 ∥ℓ_f∥_ℋ에 대한 정규화와 거의 동일하다는 것을 증명한다.
• 지지 집합 제약 조건 하에서 DRO 목표 함수의 닫힌 형태 근사를 도출하여, 커널 행렬과 손실 벡터를 포함하는 비볼록 정규화자로 이어진다.
• 작은 대역폭 또는 항등 커널의 극한에서, 이 정규화자는 √n 스케일링된 분산 정규화로 축소됨을 보여준다.
• 임의의 커널으로 이 근사를 일반화하여, 특정 커널 구조(예: K = aI + b11ᵀ) 하에서 분산 정규화와의 동치성을 입증한다.
• 커널 리지 회귀를 위한 새로운 정규화자 제안: 힐버트 노름 분석에 기반해 ∥f²∥_{σ/√2}를 ∥f∥²_σ 대신 사용한다.

실험 결과

연구 질문

• RQ1 MMD 기반 DRO는 φ-발산 및 워샤프트 링스 기반 DRO와 비교해 분포 커버리지 및 계산적 실현 가능성 측면에서 어떻게 다를까?
• RQ2 MMD DRO와 손실 함수의 RKHS 내 정규화 사이의 이론적 관계는 무엇인가?
• RQ3 MMD DRO는 커널 리지 회귀에 대해 날카운 일반화 경계를 도출할 수 있으며, 기존 경계와 비교해 어떻게 다를까?
• RQ4 기존의 분산 기반 정규화 방법을 일반화하는 계산적으로 효율적인 MMD DRO 근사는 존재하는가?
• RQ5 MMD DRO에서 유도된 새로운 정규화자가 실질적으로 일반화 성능을 향상시키는가?

주요 결과

• MMD DRO는 손실 함수의 힐버트 노름 ∥ℓ_f∥_ℋ에 의한 정규화와 거의 동일하며, 일반화에 대한 새로운 이론적 시각을 제공한다.
• 가우시안 커널 리지 회귀의 경우, MMD DRO를 통해 도출된 일반화 경계는 작은 상수 인자 외에는 표준 경계와 일치한다.
• 분석을 통해 가우시안 커널 리지 회귀에 대한 새로운 정규화자를 발견: ∥f∥²_σ 대신 ∥f²∥_{σ/√2}를 정규화함으로써 하이퍼파rameter 조정에 덜 민감하다.
• MMD DRO 근사는 분산 기반 정규화를 일반화하는 정규화자를 도출하며, 커널이 K = aI + b11ᵀ 형태일 경우 동치성이 성립한다.
• 실험 결과, 제안된 정규화자가 표준 Tikhonov 정규화보다 쉬운 경우와 어려운 경우 모두에서 성능이 뛰어나며, λ가 최적값에서 벗어날 경우 성능 감소가 더 느리게 나타난다.
• MMD DRO 프레임워크는 φ-발산 집합의 지지 집합 제약을 피하고, 워샤프트 링스 기반 DRO의 강한 가정도 피하므로 더 강력하고 일반화 가능한 대안을 제공한다.