[논문 리뷰] Nonparametric and Varying Coefficient Modal Regression

Weixin Yao, Sijia Xiang|arXiv (Cornell University)|2016. 02. 22.

Advanced Statistical Methods and Models참고 문헌 19인용 수 6

한 줄 요약

이 논문은 국소 다항식 추정을 이용한 비모수적 모드 회귀를 제안하여 조건부 응답 분포의 모드를 모델링하며, 비대칭적이거나 꼬리가 두꺼운 데이터에서 강건하고 효율적인 예측을 제공한다. 이는 점 渐진적 성질을 수립하고, 변동 계수 모델로의 확장을 통해 시뮬레이션 및 실제 의료 지출 데이터에서 평균 및 중앙값 회귀보다 뛰어난 성능을 보인다.

ABSTRACT

In this article, we propose a new nonparametric data analysis tool, which we call nonparametric modal regression, to investigate the relationship among interested variables based on estimating the mode of the conditional density of a response variable Y given predictors X. The nonparametric modal regression is distinguished from the conventional nonparametric regression in that, instead of the conditional average or median, it uses the "most likely" conditional values to measures the center. Better prediction performance and robustness are two important characteristics of nonparametric modal regression compared to traditional nonparametric mean regression and nonparametric median regression. We propose to use local polynomial regression to estimate the nonparametric modal regression. The asymptotic properties of the resulting estimator are investigated. To broaden the applicability of the nonparametric modal regression to high dimensional data or functional/longitudinal data, we further develop a nonparametric varying coefficient modal regression. A Monte Carlo simulation study and an analysis of health care expenditure data demonstrate some superior performance of the proposed nonparametric modal regression model to the traditional nonparametric mean regression and nonparametric median regression in terms of the prediction performance.

연구 동기 및 목표

• 응답 변수의 조건부 모드를 예측 변수를 바탕으로 추정하기 위한 비모수적 방법을 개발하여, 모드 함수에 대한 모수적 가정을 피하기 위해.
• 평균이나 중앙값이 아닌 '가장 가능성 있는 값'(모드)에 초점을 맞춤으로써 회귀에서 예측 정확도와 강건성을 향상시키기 위해.
• 고차원 또는 기능적 데이터 설정에서의 유연성을 높이기 위해 변동 계수 구조로 모델을 확장하기 위해.
• 정규성 조건 하에서 추정기의 점 渐진적 성질, 즉 편향과 분산을 수립하기 위해.
• 실제 데이터 응용에 적용 가능한 실용적 추정 알고리즘(EM 유형 절차 포함)을 제공하기 위해.

제안 방법

• 모드가 커널 스무딩된 조건부 밀도의 최대화자로 식별되는 국소 다항식 회귀를 통해 조건부 모드를 추정한다.
• 예측 변수와 응답 변수에 각각 대응하는 밴드위드 $ h_1 $ 및 $ h_2 $를 사용하여 연합 밀도 $ f(x,y) $에 대한 이중 단계 커널 밀도 추정기를 적용한다.
• 수렴성과 안정성을 향상시키기 위해 모드 및 관련 매개변수의 추정치를 반복적으로 갱신하는 EM 유형 알고리즘을 사용한다.
• 정규성 조건 하에서 타일러 전개와 확률적 근사 방법을 사용하여 추정기의 점 渐진적 편향과 분산 표현을 유도한다.
• 국소 다항식 접근법을 사용하여 모드와 그 도함수를 추정함으로써 모드 함수의 형태에 대한 추론을 가능하게 한다.
• 모드 함수가 민감하고 비모수적 계수 함수를 통해 예측 변수에 따라 달라지도록 허용함으로써 변동 계수 모드 회귀 모델을 확장한다.

실험 결과

연구 질문

• RQ1 왜곡되거나 꼬리가 두꺼운 오차 분포 하에서 전통적인 평균 및 중앙값 회귀에 비해 비모수적 모드 회귀가 예측 정확도에서 뛰어나게 되는가?
• RQ2 국소 다항식 추정기의 점 渐진적 성질(편향, 분산, 일致성)은 무엇인가?
• RQ3 고차원 또는 기능적 데이터에서 변동 계수 구조를 다룰 수 있도록 모드 회귀 모델을 어떻게 확장할 수 있는가?
• RQ4 모델 잘못 지정 상황 하에서 제안된 추정기의 유한 표본 성능은 평균 및 중앙값 회귀와 비교해 어떻게 되는가?
• RQ5 제안된 EM 유형 알고리즘이 수렴 보장이 있는 복잡한 데이터 설정에서 모드 함수를 신뢰성 있게 추정할 수 있는가?

주요 결과

• 몬테 카를로 시뮬레이션을 통해 비대칭 오차 분포 하에서 제안된 비모수적 모드 회귀 추정기가 평균 및 중앙값 회귀보다 낮은 예측 오차를 기록함을 입증하였다.
• 추정기의 점 渐진적 편향과 분산이 유도되었으며, 이는 편향이 조건부 밀도의 두 번째 및 세 번째 도함수 및 밴드위드 선택에 의존함을 보여주었다.
• 추정기의 점 渐진적 분포는 정규분포이며, 분산은 $ 1/(n h_1 h_2^3) $ 비례함을 나타내어 밴드위드 선택에 따라 수렴 속도가 달라짐을 시사한다.
• 변동 계수 모드 회귀 모델은 고차원 데이터에서 복잡한 비선형 관계를 효과적으로 포착하여, 모수적 대안보다 모델 적합도와 예측 성능을 향상시켰다.
• 의료 지출 데이터에 대한 실증 분석 결과, 특히 이상치나 비대칭성이 존재할 경우 모드 회귀가 평균 회귀보다 더 강건하고 정확한 예측을 제공함을 보였다.
• EM 유형 알고리즘은 고차원 또는 복잡한 데이터 설정에서 모드 함수 추정의 수치적 안정성과 수렴 속도를 향상시켰다.