[논문 리뷰] A Statistical Learning Approach to Modal Regression

Yunlong Feng, Jun Fan외 1명|arXiv (Cornell University)|2017. 02. 20.

Advanced Adaptive Filtering Techniques참고 문헌 53인용 수 16

한 줄 요약

이 논문은 경험적 리스크 최소화(Empirical Risk Minimization, ERM)를 사용한 통계학적 학습 프레임워크 내에서 비모수적 모드 회귀를 수립하며, 퇴적된 밴드폭을 가진 최대 상관성 기준이 모드 회귀로 수렴함을 보여준다. 미묘한 조건 하에서 함수 추정 일致성과 수렴성을 확립하며, 모드 추정을 통한 강건한 회귀에 대해 이론적으로 타당하고 계산적으로 실현 가능한 접근법을 제공한다.

ABSTRACT

This paper studies the nonparametric modal regression problem systematically from a statistical learning view. Originally motivated by pursuing a theoretical understanding of the maximum correntropy criterion based regression (MCCR), our study reveals that MCCR with a tending-to-zero scale parameter is essentially modal regression. We show that nonparametric modal regression problem can be approached via the classical empirical risk minimization. Some efforts are then made to develop a framework for analyzing and implementing modal regression. For instance, the modal regression function is described, the modal regression risk is defined explicitly and its extit{Bayes} rule is characterized; for the sake of computational tractability, the surrogate modal regression risk, which is termed as the generalization risk in our study, is introduced. On the theoretical side, the excess modal regression risk, the excess generalization risk, the function estimation error, and the relations among the above three quantities are studied rigorously. It turns out that under mild conditions, function estimation consistency and convergence may be pursued in modal regression as in vanilla regression protocols, such as mean regression, median regression, and quantile regression. However, it outperforms these regression models in terms of robustness as shown in our study from a re-descending M-estimation view. This coincides with and in return explains the merits of MCCR on robustness. On the practical side, the implementation issues of modal regression including the computational algorithm and the tuning parameters selection are discussed. Numerical assessments on modal regression are also conducted to verify our findings empirically.

연구 동기 및 목표

• 비모수적 모드 회귀에 대한 엄밀한 통계학적 학습 이론을 개발하는 것. 이는 문헌에서 다소 간과된 분야이다.
• 모드 회귀가 경험적 리스크 최소화 문제로 공식화될 수 있음을 보여주어 이론적 분석과 알고리즘 구현을 가능하게 하는 것.
• 모드 회귀 추정기의 일반화 경계와 일치성 결과를 수립하여 평균, 중앙값, 분위수 회귀와 유사한 이론적 성질을 확보하는 것.
• 최대 상관성 기준(MCCR)과 모드 회귀 사이의 이론적 연결 고리를 명확히 하는 것, 특히 커널 밴드폭이 0으로 수렴할 때의 관계를 분석하는 것.
• 조정 파rameter 선택과 계산 알고리즘을 포함한 실용적 구현 프레임워크를 제공하고, 시뮬레이션 및 실세계 데이터를 통해 검증하는 것.

제안 방법

• 입력에 대한 응답의 조건부 모드를 바탕으로 모드 회귀 리스크를 정의함으로써 모드 회귀를 경험적 리스크 최소화(ERM) 문제로 재구성한다.
• 계산의 실현 가능성을 확보하기 위해 진정한 모드 회귀 리스크를 근사하는 '일반화 리스크'의 서브스티튜션을 도입한다.
• 커널 밀도 추정(KDE)을 사용하여 조건부 밀도를 추정하고 그 최대값을 찾음으로써 조건부 모드 함수의 비모수적 추정을 가능하게 한다.
• 재생 커널 힐버트 공간(RKHS) 상에서 경험적 리스크 최소화 원리를 적용하여 모드 회귀 함수를 학습한다.
• 초과 모드 회귀 리스크, 초과 일반화 리스크, 함수 추정 오차에 대한 이론적 경계를 유도하며, 미묘한 정규성 조건 하에서 일치성을 확립한다.
• 커널 리지 회귀 기반의 계산 알고리즘과 교차검증을 통한 밴드폭 선택을 제안하며, 교통 모니터링에서 확보한 속도-유량 데이터에 대해 검증한다.

실험 결과

연구 질문

• RQ1 모드 회귀는 통계학적 학습 이론의 경험적 리스크 최소화 프레임워크 내에서 체계적으로 공식화될 수 있는가?
• RQ2 최대 상관성 기준(MCCR)과 모드 회귀 사이의 이론적 관계는 무엇인가? 특히 커널 밴드폭이 0으로 수렴할 때 어떻게 되는가?
• RQ3 모드 회귀 추정기가 L²(X)-노름에서 함수 추정 일치성과 수렴성을 확보하는 데 필요한 조건은 무엇인가?
• RQ4 제안된 일반화 리스크 프레임워크는 오염된 관측치와 무거운 尾 비정규 잡음에 대해 어떻게 강건성을 확보하는가?
• RQ5 모드 회귀의 실용적 구현 과제는 무엇이며, 조정 파rameter는 어떻게 효과적으로 선택할 수 있는가?

주요 결과

• 모드 회귀는 경험적 리스크 최소화 문제로 엄밀히 공식화될 수 있으며, 이는 비모수적 모드 추정을 위한 통계학적 학습 이론 프레임워크를 가능하게 한다.
• 퇴적된 밴드폭을 가진 최대 상관성 기준은 모드 회귀 문제로 수렴하며, 이는 그가 비정규적이고 비대칭적인 잡음에 대해 강건한 이유를 설명한다.
• 미묘한 정규성 조건 하에서 모드 회귀 추정기는 L²(X)-노름에서 함수 추정 일치성과 수렴성을 확보하며, 평균 및 중앙값 회귀와 유사한 성질을 가진다.
• 제안된 일반화 리스크 프레임워크는 추정기가 일반화 일치성과 校정성(캘리브레이션)을 동시에 확보하며, 초과 리스크에 대한 이론적 경계를 제공한다.
• 시뮬레이션 및 실세계 교통 속도-유량 데이터에 대한 수치 실험 결과, 모드 회귀 추정기는 평균 회귀보다 오염된 관측치에 덜 민감하고 기저 추세를 더 잘 포착하는 것으로 나타났다.
• 이 방법은 차원에 독립적이며 고차원 설정에서도 적용 가능하다. 경험적 리스크 최소화 공식화는 입력 차원에 의존하지 않기 때문이다.