[논문 리뷰] Robust Nonparametric Regression with Deep Neural Networks

Guohao Shen, Yuling Jiao외 2명|arXiv (Cornell University)|2021. 07. 21.

Statistical Methods and Inference참고 문헌 60인용 수 6

한 줄 요약

이 논문은 ReLU 활성화를 갖는 딥 네ural 웹을 사용한 강건한 비모수적 회귀를 제안하며, 허버, 코시, 투키와 같은 손실 함수를 활용해 무거운 尾를 가진 오차를 다룹니다. 오차의 $p$-번째 모멘트가 $p>1$일 때 유한하다는 최소한의 가정만으로 비점근적 오차 경계를 확립하며, 네트워크 크기가 $O(d^2)$일 경우 초과 위험도 차원 $d$에 대해 초선형적으로 증가함을 보여, 근사적인 저차원 다양체 위에서 차원의 저주를 피할 수 있음을 보입니다.

ABSTRACT

In this paper, we study the properties of robust nonparametric estimation using deep neural networks for regression models with heavy tailed error distributions. We establish the non-asymptotic error bounds for a class of robust nonparametric regression estimators using deep neural networks with ReLU activation under suitable smoothness conditions on the regression function and mild conditions on the error term. In particular, we only assume that the error distribution has a finite p-th moment with p greater than one. We also show that the deep robust regression estimators are able to circumvent the curse of dimensionality when the distribution of the predictor is supported on an approximate lower-dimensional set. An important feature of our error bound is that, for ReLU neural networks with network width and network size (number of parameters) no more than the order of the square of the dimensionality d of the predictor, our excess risk bounds depend sub-linearly on d. Our assumption relaxes the exact manifold support assumption, which could be restrictive and unrealistic in practice. We also relax several crucial assumptions on the data distribution, the target regression function and the neural networks required in the recent literature. Our simulation studies demonstrate that the robust methods can significantly outperform the least squares method when the errors have heavy-tailed distributions and illustrate that the choice of loss function is important in the context of deep nonparametric regression.

연구 동기 및 목표

• 실제 데이터에서 흔한 중앙 꼬리 오차 분포에 강건한 딥 네ural 웹을 활용한 비모수적 회귀 방법을 개발하기 위해.
• 오차 모멘트와 데이터 분포에 대한 최소한의 가정 하에 딥 네ural 웹 추정기의 비점근적 오차 경계를 확립하기 위해.
• 예측 변수가 또는 그 근처에 저차원 다양체 위에 있을 경우 딥 강건 회귀 추정기가 차원의 저주를 피할 수 있음을 보여주기 위해.
• 이전 문헌에서 제한적인 가정(예: 오차의 유계성 또는 서브-가우시안성, 정확한 다양체 지지)을 완화하기 위해.
• 실험적으로 강건한 손실 함수(예: 허버, 코시)가 중앙 꼬리 오차 환경에서 최소 제곱법보다 현저히 뛰어나다는 것을 보여주기 위해.

제안 방법

• 비모수적 회귀 함수를 추정하기 위해 ReLU 활성화 함수를 갖는 딥 네ural 웹을 사용합니다.
• 최소 제곱법 대신 LAD, 허버, 코시, 투키와 같은 강건한 손실 함수를 사용하여 중앙 꼬리 오차에 대한 민감도를 감소시킵니다.
• 오차가 $p$-번째 모멘트가 유한하고 $p>1$일 때 유한하다는 가정 하에 비점근적 초과 위험 경계를 유도합니다. 이는 서브-가우시안성 또는 유계 오차 가정을 완화합니다.
• 네트워크의 폭과 크기(파rameter 수)가 오차 경계에 미치는 영향을 분석하며, 네트워크 크기가 $O(d^2)$일 경우 차원 $d$에 대해 초선형적 의존성을 보임을 보입니다.
• 진짜 회귀 함수의 스무쓰니스 조건과 예측 변수 분포에 대한 미약한 구조적 가정(예: 근사적인 저차원 지지)을 기반으로 합니다.
• 강건한 손실 함수를 사용한 경험적 리스크 최소화를 통해 농도 불등식과 딥 네ural 웹 근사 이론을 활용해 일반화 오차 경계를 유도합니다.

실험 결과

연구 질문

• RQ1 딥 네ural 웹 기반 비모수적 회귀가 서브-가우시안성 또는 유계 오차 분포를 가정하지 않고도 중앙 꼬리 오차에 강건한가요?
• RQ2 예측 변수가 또는 그 근처에 저차원 다양체 위에 있을 경우, 딥 강건 회귀 추정기가 차원의 저주를 피할 수 있는 조건은 무엇인가요?
• RQ3 네트워크의 폭과 크기가 강건한 딥 회귀에서 비점근적 오차 경계에 어떤 영향을 미치며, 특히 고차원 환경에서 어떻게 작용합니까?
• RQ4 중심 꼬리 오차가 존재하는 비모수적 회귀에서, 다양한 강건한 손실 함수(예: 허버, 코시, 투키)가 최소 제곱법 대비 상대적인 성능은 어떻게 되나요?
• RQ5 데이터 분포, 회귀 함수의 스무쓰니스, 딥 네ural 웹 아키텍처에 대한 가정을 이론적 보장이 유지되는 범위에서 얼마나 완화할 수 있나요?

주요 결과

• 제안된 강건한 딥 회귀 추정기는 네트워크 크기가 $O(d^2)$일 경우 예측 변수 차원 $d$에 대해 비선형적으로 의존하는 비점근적 초과 위험 경계를 달성하며, 이는 효과적인 차원 제어를 가능하게 합니다.
• 예측 변수 분포가 근사적인 저차원 집합에 지지되어 있을 경우, 정확한 다양체 구조가 필요 없더라도 차원의 저주를 효과적으로 피할 수 있음을 보여줍니다.
• 폭과 크기가 $O(d^2)$ 이하인 ReLU 네트워크의 경우 초과 위험은 $d$에 대해 초선형적으로 증가하며, 이는 이전 연구에서의 선형 또는 다항적 의존성에 비해 크게 향상된 결과입니다.
• 시뮬레이션 결과에 따르면, 오차 분포가 오염된 정규분포 또는 $t(2)$ 분포일 경우 허버, 코시, 투키 손실 함수가 최소 제곱법보다 테스트 초과 위험 측면에서 뚜렷이 뛰어납니다.
• 최소 제곱법은 중앙 꼬리 오차에서 기능을 상실하는 반면, 강건한 방법은 안정적인 성능을 유지하며, 테스트된 단변량 모델에서 허버 손실이 가장 우수한 성능을 보였습니다.
• 이론적 프레임워크는 최근 문헌에서 요구하는 핵심 가정(예: 유계 응답 또는 서브-가우시안 오차)을 오차의 유한한 $p$-번째 모멘트($p>1$)만 요구함으로써 완화합니다.