[논문 리뷰] Generalization Bounds for Vicinal Risk Minimization Principle

Chao Zhang, Min-Hsiu Hsieh외 1명|arXiv (Cornell University)|2018. 11. 11.

Bayesian Methods and Mixture Models참고 문헌 14인용 수 6

한 줄 요약

이 논문은 리프시츠 연속성 가정 하에 비센스 함수와 컨볼루션된 함수 클래스를 분석함으로써 비센스 리스크 최소화(VRM) 원리의 일반화 경계를 수립한다. 이는 VRM의 일반화 성능가 vicinal 함수의 선택과 원래 함수 클래스의 복잡성에 모두 의존함을 증명하며, mixup 및 가우시안 기반 접근법과 같은 VRM 기반 모델에 대한 이론적 근거를 제공한다.

ABSTRACT

The vicinal risk minimization (VRM) principle, first proposed by \citet{vapnik1999nature}, is an empirical risk minimization (ERM) variant that replaces Dirac masses with vicinal functions. Although there is strong numerical evidence showing that VRM outperforms ERM if appropriate vicinal functions are chosen, a comprehensive theoretical understanding of VRM is still lacking. In this paper, we study the generalization bounds for VRM. Our results support Vapnik's original arguments and additionally provide deeper insights into VRM. First, we prove that the complexity of function classes convolving with vicinal functions can be controlled by that of the original function classes under the assumption that the function class is composed of Lipschitz-continuous functions. Then, the resulting generalization bounds for VRM suggest that the generalization performance of VRM is also effected by the choice of vicinity function and the quality of function classes. These findings can be used to examine whether the choice of vicinal function is appropriate for the VRM-based learning setting. Finally, we provide a theoretical explanation for existing VRM models, e.g., uniform distribution-based models, Gaussian distribution-based models, and mixup models.

연구 동기 및 목표

• 강력한 경험적 성능에도 불구하고 철저한 분석이 부족한 비센스 리스크 최소화(VRM) 원리에 대한 종합적인 이론적 이해를 제공하기 위해.
• 특히 리프시츠 연속성 하에서, 비센스 함수와 컨볼루션된 함수 클래스의 복잡성이 어떻게 변화하는지 분석하기 위해.
• 원래 함수 클래스의 복잡성과 비센스 함수의 선택에 따라 의존하는 VRM의 일반화 경계를 유도하기 위해.
• 기존의 VRM 모델, 특히 mixup, 균일 분포 기반 및 가우시안 기반 접근법에 대한 이론적 검증을 제공하기 위해.
• VRM 기반 학습 설정에서 비센스 함수 선택의 적절성을 평가하기 위한 프레임워크를 수립하기 위해.

제안 방법

• 원래 함수 클래스의 리프시츠 연속성 가정 하에 비센스 함수와의 컨볼루션에 따른 함수 클래스 복잡성의 이론적 분석.
• 커버링 수와 라데마처 복잡도를 사용한 일반화 경계 유도; 경험 리스크와 기대 리스크 간의 관계를 설정하기 위해 편향 기반 접근법 사용.
• 위험 차이의 이중 표현을 활용하여 일반화 오차를 비센스 분포와 진짜 분포 간의 기대 편차에 따라 경계 설정.
• 위험 차이의 尾確率를 제어하기 위해 농도 불등식과 모멘트 생성 함수의 적용.
• 원래 함수 클래스의 커버링 수와 컨볼루션된 클래스의 커버링 수를 연결하는 커버링 집합 Λ*의 도입.
• Li(2012)의 보조정리 16을 활용하여 위험 차이의 지수 꼬리 경계를 부분-웨이불 꼬리 행동과 연결.

실험 결과

연구 질문

• RQ1 특히 리프시츠 연속성 하에서, 비센스 함수와 컨볼루션된 함수 클래스의 복잡성은 어떻게 변화하는가?
• RQ2 VRM 원리에 대해 도출할 수 있는 일반화 경계는 무엇이며, 비센스 함수의 선택에 따라 어떻게 달라지는가?
• RQ3 원래 함수 클래스의 복잡성이 VRM의 일반화 성능에 얼마나 영향을 미치는가?
• RQ4 제안된 프레임워크를 통해 기존의 VRM 모델, 예를 들어 mixup 및 가우시안 기반 모델은 이론적으로 정당화될 수 있는가?
• RQ5 특정 VRM 학습 설정에 적합한 비센스 함수가 적절한지 평가하는 방법은 무엇인가?

주요 결과

• 함수들이 리프시츠 연속일 경우, 비센스 함수와 컨볼루션된 함수 클래스의 복잡성은 원래 클래스의 복잡성에 의해 제어된다.
• VRM의 일반화 경계는 원래 함수 클래스의 커버링 수와 비센스 함수의 선택에 모두 의존한다.
• 제안된 경계는 VRM의 일반화 성능가 함수 클래스의 품질과 비센스 함수의 형태에 민감함을 시사한다.
• 이론적 프레임워크는 mixup, 균일 분포 기반 및 가우시안 기반 VRM 모델의 성공에 대한 정당화를 제공한다.
• 적절한 꼬리 조건 하에서, 위험 차이에 대한 확률적 경계가 도출되었으며, 이는 일반화 오차가 표본 크기의 제곱근에 따라 감소함을 보여준다.
• 이 프레임워크는 복잡성과 편차 측정치에 대한 영향을 연결함으로써 비센스 함수 선택에 대한 체계적인 평가를 가능하게 한다.