[논문 리뷰] The Mismatch Principle: Statistical Learning Under Large Model Uncertainties

Martin Genzel, Gitta Kutyniok|arXiv (Cornell University)|2018. 08. 20.

Statistical Methods and Inference인용 수 2

한 줄 요약

이 논문은 제곱 손실과 볼록 선형 가설 클래스를 사용한 경험적 리스크 최소화가 큰 모델 불확실성과 잘못된 모형 설정 조건에서도 효과적으로 학습할 수 있는 이유를 설명하는 이론적 프레임워크인 '불일치 원리(mismatch principle)'를 제안한다. 이는 고전적 직교성 원리를 일반화하여 고차원적, 비선형적, 상관관계가 있는 설계 조건에서도 강건한 학습을 가능하게 하며, 단일 인덱스 모형과 변수 선택에 응용할 수 있다.

ABSTRACT

We study the learning capacity of empirical risk minimization with regard to the squared loss and a convex hypothesis class consisting of linear functions. While these types of estimators were originally designed for noisy linear regression problems, it recently turned out that they are in fact capable of handling considerably more complicated situations, involving highly non-linear distortions. This work intends to provide a comprehensive explanation of this somewhat astonishing phenomenon. At the heart of our analysis stands the mismatch principle, which is a simple, yet generic recipe to establish theoretical error bounds for empirical risk minimization. The scope of our results is fairly general, permitting arbitrary sub-Gaussian input-output pairs, possibly with strongly correlated feature variables. Noteworthy, the mismatch principle also generalizes to a certain extent the classical orthogonality principle for ordinary least squares. This adaption allows us to investigate problem setups of recent interest, most importantly, high-dimensional parameter regimes and non-linear observation processes. In particular, our theoretical framework is applied to various scenarios of practical relevance, such as single-index models, variable selection, and strongly correlated designs. We thereby demonstrate the key purpose of the mismatch principle, that is, learning (semi-)parametric output rules under large model uncertainties and misspecifications.

연구 동기 및 목표

• 복잡하고 비선형적이며 고차원적인 환경에서도 제곱 손실과 볼록 선형 모델을 사용한 경험적 리스크 최소화가 놀랍게 강건한 이유를 설명하는 것.
• 진정한 데이터 생성 과정이 비선형적이거나 고차원적인 경우에 큰 모델 불확실성과 잘못된 모형 설정 조건 하에서의 학습 과제를 다루는 것.
• 일반 최소 제곱법에 대한 고전적 직교성 원리를 비선형 관측 과정과 상관관계가 있는 특징을 수용할 수 있도록 일반화하는 것.
• 단일 인덱스 모형, 변수 선택, 강한 상관관계가 있는 설계와 같은 실용적 상황에 적용 가능한 이론적 프레임워크를 제공하는 것.

제안 방법

• 서브가우시안 입력-출력 쌍 조건 하에서 경험적 리스크 최소화의 이론적 오차 한계를 유도하기 위한 일반적인 요리법으로 불일치 원리를 제안한다.
• 불일치 원리를 적용하여, 가설 클래스가 잘못 설정되거나 진정한 관계가 매우 비선형인 경우에도 유효한 오차 한계를 도출한다.
• 볼록 최적화와 통계적 학습 이론을 사용하여 모델 불확실성 하에서 선형 추정기의 성능을 분석한다.
• 진정한 모형과 가정된 모형 간의 이탈을 반영하는 불일치 항을 포함하여 고전적 직교성 원리를 확장한다.
• 고차원적이고 상관관계가 있는 특징 설정에서의 강건성을 확보하기 위해 입력-출력 쌍에 대해 서브가우시안 가정을 사용한다.
• 강한 특징 상관관계에 대해 불변이며, 반모수적 출력 규칙에 적용 가능한 오차 한계를 도출한다.

실험 결과

연구 질문

• RQ1 왜 선형 모델과 제곱 손실을 사용한 경험적 리스크 최소화가 심각한 모형 잘못 설정과 비선형 왜곡 조건에서도 잘 작동하는가?
• RQ2 고전적 직교성 원리는 어떻게 비선형 관측 과정과 고차원 설정을 다룰 수 있도록 일반화될 수 있는가?
• RQ3 진정한 데이터 생성 과정이 비선형적이거나 고차원적인 경우 선형 추정기의 이론적 보장은 무엇으로 확보될 수 있는가?
• RQ4 불일치 원리는 큰 모델 불확실성과 특징 상관관계 조건 하에서 학습 성능을 어떻게 향상시키는가?
• RQ5 이 프레임워크는 모델 불확실성 하에서 단일 인덱스 모형과 변수 선택과 같은 실용적 문제에 어떻게 적용되는가?

주요 결과

• 불일치 원리는 모형 잘못 설정과 비선형 왜곡 조건 하에서도 경험적 리스크 최소화의 강건성을 설명하는 일반적인 이론적 프레임워크를 제공한다.
• 이 프레임워크는 고전적 직교성 원리를 비선형 관측 과정과 상관관계가 있는 설계에까지 확장하여 이론적 타당성을 유지한다.
• 불일치 원리를 통해 도출된 오차 한계는 전통적 가정이 실패하는 고차원적 모수 영역에서도 효과적으로 유지된다.
• 이 방법은 진정한 모형이 선형에서 멀리 떨어져 있어도 반모수적 출력 규칙의 신뢰할 수 있는 학습을 가능하게 한다.
• 이 접근법은 강한 특징 상관관계 조건 하에서 단일 인덱스 모형과 변수 선택 과제에 대해 이론적으로나 실증적으로 적용 가능하다.
• 이론적 결과는 강한 상관관계가 있는 특징을 포함한 임의의 서브가우시안 입력-출력 쌍 조건 하에서도 강건하다.