[논문 리뷰] $\ell_{\infty}$ Vector Contraction for Rademacher Complexity

Dylan J. Foster, Alexander Rakhlin|arXiv (Cornell University)|2019. 11. 15.

Computability, Logic, AI Algorithms참고 문헌 14인용 수 11

한 줄 요약

이 논문은 함수가 ℓ∞ 노름에 대해 리프시츠일 때 라데마처 복잡도에 대한 더 날카운 수축 부등식을 수립한다. 벡터 값 함수 클래스가 ℓ∞-리프시츠 사상과 병합될 경우, 이 복잡도는 좌표별로 스케일된 최대 복잡도에 의해 Õ(√K)로 제한되며, 이는 기존 ℓ2 기반 수축 부등식보다 개선된 결과이며, K-평균 군집화에 대해 최적의 속도를 회복한다.

ABSTRACT

We show that the Rademacher complexity of any $\mathbb{R}^{K}$-valued function class composed with an $\ell_{\infty}$-Lipschitz function is bounded by the maximum Rademacher complexity of the restriction of the function class along each coordinate, times a factor of $ ilde{O}(\sqrt{K})$.

연구 동기 및 목표

• 함수들이 ℓ2-리프시츠가 아니라 ℓ∞-리프시츠일 때 기존의 벡터 수축 부등식이 느슨한 문제를 다루기 위해.
• 벡터 값 함수 클래스가 ℓ∞-리프시츠 사상과 병합된 경우의 라데마처 복잡도에 대해 더 날카운 상한을 유도하기 위해.
• 표준 ℓ2 기반 수축 부등식으로는 달성할 수 없지만, 알려진 최적의 Õ(√(Kn)) 속도를 K-평균 군집화에 대해 회복하기 위해.
• 결과를 p ∈ (0, ∞)인 ℓp 노름으로 일반화하여, 다양한 리프시츠 구조에 대한 통합 프레임워크를 제공하기 위해.
• 구조적 예측 및 군집화 응용 분야에서 이론적 상한과 알려진 최적 속도 사이의 격차를 메우기 위해.

제안 방법

• 커버링 수와 지나친 분리 차원을 기반으로 한 체이닝 추론을 사용하여 라데마처 복잡도를 제한한다.
• φ의 ℓ∞-리프시츠 성질을 활용하여 함수 클래스 F와 사상 φ의 영향을 분리하는 새로운 커버링 수 상한을 도입한다.
• 일반적인 경우를 β = L = 1인 경우로 축소하기 위해 재스케일링 추론을 적용한다.
• 각 좌표의 개별 라데마처 복잡도에 따라 커버링 스케일을 할당하는 이중 커버링 전략을 활용한다.
• 좌표 간 커버링 스케일을 ℓp 노름을 사용하여 균형을 맞추어 일반적인 ℓp 수축 부등식을 도출한다.
• 더들리의 적분과 지나친 분리 차원 상한을 적용하여 커버링 수와 라데마처 복잡도를 연결한다.

실험 결과

연구 질문

• RQ1 φ가 ℓ2-리프시츠가 아니라 ℓ∞-리프시츠일 때 기존의 표준 벡터 수축 부등식을 향상시킬 수 있는가?
• RQ2 향상된 상한이 K-평균 군집화에 대해 알려진 최적의 Õ(√(Kn)) 속도를 회복하는가? 이 속도는 날카로운 것으로 알려져 있다.
• RQ3 상한에 포함된 √K 요소는 로그 인자 외에 날카로운가, 아니면 더 개선될 수 있는가?
• RQ4 결과를 ℓ∞를 초과하는 ℓp 노름으로 일반화할 수 있으며, 이때 복잡도가 사상의 p-노름에 어떻게 의존하는가?
• RQ5 ℓ∞-리프시츠 변환 하에서 벡터 값 함수 클래스의 전체 복잡도를 제한할 때 좌표별 라데마처 복잡도의 역할은 무엇인가?

주요 결과

• ℓ∞-리프시츠 사상과 병합된 벡터 값 함수 클래스의 라데마처 복잡도는 최대 좌표별 라데마처 복잡도에 대해 Õ(L√K)로 제한된다.
• 이 상한은 K-평균 군집화에 대해 최적의 Õ(√(Kn)) 속도를 회복하며, 이는 ℓ2 기반 수축 부등식이 도출하는 O(K√n) 속도보다 날카롭다.
• √K 요소는 하이퍼플레인과 라데마처 카오스를 사용한 하한 구축을 통해 로그 인자 외에 날카로운 것으로 입증된다.
• ℓp 노름의 경우, 상한은 좌표별 복잡도의 ℓ^{2p/(2+p)}-노름에 대해 Õ(L)로 스케일링되며, 이는 ℓ∞ 결과를 일반화한다.
• 구조적 예측, 강건한 학습, 신경망 일반화 분야에서 이전의 상한보다 개선되었으며, ℓ∞-리프시츠 사상의 구조를 활용하였다.
• 분석 결과, 사상이 ℓ∞-리프시츠일 경우 좌표별 복잡도가 전체 복잡도를 지배하므로, max_i R_n(F|_i)에 집중하는 것이 타당하다.