[논문 리뷰] Fundamental Limits of Ridge-Regularized Empirical Risk Minimization in High Dimensions

Hossein Taheri, Ramtin Pedarsani외 1명|arXiv (Cornell University)|2020. 06. 16.

Sparse and Compressive Sensing Techniques참고 문헌 43인용 수 17

한 줄 요약

이 논문은 가우시안 특징을 가진 고차원 일반선형모형에서 릿지 정규화된 경험리스크최소화(RERM)의 추정 및 예측 오차에 대한 최초의 기본 한계를 확립한다. 고차원 점근적 프레임워크를 사용하여, 손실 함수, 정규화 파라미터, 과도모델링 비율 δ = n/m 에 따라 달라지는 날카운 오차 하한을 유도하며, 신호 강도가 낮을 경우 최적 조정된 최소제곱법이 로지스틱 모형에서 약간 최적임을 드러내지만, 신호 강도가 증가함에 따라 하위최적임을 보여준다.

ABSTRACT

Empirical Risk Minimization (ERM) algorithms are widely used in a variety of estimation and prediction tasks in signal-processing and machine learning applications. Despite their popularity, a theory that explains their statistical properties in modern regimes where both the number of measurements and the number of unknown parameters is large is only recently emerging. In this paper, we characterize for the first time the fundamental limits on the statistical accuracy of convex ERM for inference in high-dimensional generalized linear models. For a stylized setting with Gaussian features and problem dimensions that grow large at a proportional rate, we start with sharp performance characterizations and then derive tight lower bounds on the estimation and prediction error that hold over a wide class of loss functions and for any value of the regularization parameter. Our precise analysis has several attributes. First, it leads to a recipe for optimally tuning the loss function and the regularization parameter. Second, it allows to precisely quantify the sub-optimality of popular heuristic choices: for instance, we show that optimally-tuned least-squares is (perhaps surprisingly) approximately optimal for standard logistic data, but the sub-optimality gap grows drastically as the signal strength increases. Third, we use the bounds to precisely assess the merits of ridge-regularization as a function of the over-parameterization ratio. Notably, our bounds are expressed in terms of the Fisher Information of random variables that are simple functions of the data distribution, thus making ties to corresponding bounds in classical statistics.

연구 동기 및 목표

• n과 m이 비례 비율로 함께 무한대가 되는 고차원 설정에서 볼록 경험리스크최소화(ERM)의 기본 통계적 한계를 규명하는 것.
• 넓은 손실 함수 및 정규화 파라미터 클래스에 대해 릿지 정규화된 ERM의 추정 및 예측 오차에 대한 날카로운 하한을 도출하는 것.
• 고차원 GLM에서 일반적인 히وري스틱 선택인 릿지 정규화된 최소제곱법(RLS)의 하위최적성 정도를 정량화하는 것.
• 데이터 분포와 과도모델링 비율 δ에 기반하여 손실 함수와 정규화 파라미터 λ를 최적 조정하는 방법을 제시하는 것.
• 특히 고도로 과도모델링된 영역에서 과도모델링 비율 δ에 따라 릿지 정규화의 역할을 평가하는 것.

제안 방법

• m, n → ∞ 이면서 δ = m/n 가 고정된 고차원 점근적 프레임워크를 사용한다.
• 추정기의 점근적 성능을 특징짓는 비선형 방정식계를 통해 릿지 정규화된 ERM를 분석한다.
• 선형 모형의 경우, 방정식계의 대수적 구조를 분석하여 제곱 추정 오차에 대한 하한을 도출한다.
• 이진 모형의 경우, 손실 함수와 링크 함수에 대한 약한 가정 하에 성능(상관관계 또는 분류 오차)을 유일하게 특징짓는 세 개의 비선형 방정식계를 수립한다.
• 데이터 분포에서 유도된 충분통계량의 피셔 정보를 사용하여 기본 오차 한계의 닫힌 형태 표현식을 유도한다.
• 선형 및 로지스틱 모형에서 RLS, 비정규화된 ERM, 최적 손실 함수 간의 수치 실험을 통해 이론적 하한을 검증한다.

실험 결과

연구 질문

• RQ1 고차원 일반선형모형에서 릿지 정규화된 ERM의 최소 달성 가능한 추정 및 예측 오차는 무엇인가?
• RQ2 고차원 영역에서 RERM의 성능은 손실 함수와 정규화 파라미터 λ의 선택에 따라 어떻게 달라지는가?
• RQ3 릿지 정규화된 최소제곱법(RLS)이 이론적 최소 오차와 비교해 얼마나 하위최적인가?
• RQ4 과도모델링 비율 δ = n/m 에 따라 릿지 정규화의 이점은 어떻게 변화하는가?
• RQ5 기본 오차 한계에 도달하기 위해 손실 함수와 λ를 최적 조정하는 방법을 유도할 수 있는가?

주요 결과

• 라플라스 노이즈를 가진 선형 모형에서, 최적 조정된 RERM은 RLS보다 낮은 오차 하한을 달성하며, 이는 RLS가 이 설정에서 하위최적임을 보여준다.
• 신호 강도가 낮은 로지스틱 모형(‖x₀‖₂ = 1)에서는 최적 조정된 RLS가 약간 최적에 가깝게 작동하며, 하위최적성 갭이 작다.
• 신호 강도가 높은 로지스틱 모형(‖x₀‖₂ = 10)에서는 RLS의 하위최적성 갭이 크게 증가하여, RLS가 매우 최적에서 떨어져 있음을 시사한다.
• 기본 오차 하한은 데이터 분포에서 유도된 충분통계량의 피셔 정보로 표현되며, 이는 결과를 전통적 통계이론과 연결한다.
• 매우 과도모델링된 영역(δ → 1)에서는 비정규화된 오차 하한과 정규화된 오차 하한 간의 격차가 사라지며, 정규화의 중요성이 감소함을 보여준다.
• 매우 과소모델링된 영역(δ → ∞)에서는 기본 오차 하한 σ⋆² 과 비정규화 오차 σureg² 의 비율이 1에 수렴하며, δ가 클 경우 정규화의 영향이 거의 없음을 확인한다.