[논문 리뷰] Quantile regression approach to conditional mode estimation

Hirofumi Ota, Kengo Kato외 1명|arXiv (Cornell University)|2018. 11. 13.

Statistical Methods and Inference참고 문헌 43인용 수 6

한 줄 요약

이 논문은 선형 분위수 회귀와 추정된 분위수 함수의 수치 미분을 사용하여 조건부 모드 회귀에 대한 계산적으로 스케일러블한 추정기(_estimator)를 제안한다. 주요 기여는 추정기의 점근적 분포가 초록의 분포의 척도 변환임을 보여주며, 이는 비표준 점근적 이론에도 불구하고 간편한 분석적 및 서브샘플링 기반 추론을 가능하게 한다.

ABSTRACT

In this paper, we consider estimation of the conditional mode of an outcome variable given regressors. To this end, we propose and analyze a computationally scalable estimator derived from a linear quantile regression model and develop asymptotic distributional theory for the estimator. Specifically, we find that the pointwise limiting distribution is a scale transformation of Chernoff's distribution despite the presence of regressors. In addition, we consider analytical and subsampling-based confidence intervals for the proposed estimator. We also conduct Monte Carlo simulations to assess the finite sample performance of the proposed estimator together with the analytical and subsampling confidence intervals. Finally, we apply the proposed estimator to predicting the net hourly electrical energy output using Combined Cycle Power Plant Data.

연구 동기 및 목표

• 커널 기반 방법에 내재된 차원의 저주를 피하는 계산적으로 효율적인 조건부 모드 추정기 개발.
• 제안된 추정기의 점근적 이론 수립으로, 그 점근적 분포가 초록의 분포의 척도 변환임을 보여줌.
• 분석적 및 서브샘플링 기반 신뢰구간을 통한 조건부 모드에 대한 실용적 추론 도구 제공.
• 몬테카를로 시뮬레이션과 발전소 에너지 출력 예측에 대한 실데이터 적용을 통한 유한표본 성능 평가.

제안 방법

• 계산적 스케일러비리티를 확보하기 위해 선형 분위수 회귀를 사용하여 조건부 분위수 함수를 추정하며, 이를 선형 프로그래밍 문제로 공식화함.
• 추정된 분위수 함수의 도함수는 수치 미분을 통해 계산되어 조건부 밀도의 역함수를 근사함.
• 이 수치적으로 유도된 도함수의 최소화를 통해 조건부 모드를 추정하며, 이는 조건부 밀도의 피크를 효과적으로 식별함.
• 대역폭 수열 $ h_n \to 0 $ 하에서 점근적 이론을 개발하며, 수렴 속도는 $ (nh^2)^{-1/3} $임.
• 초록의 점근적 분포의 척도 상수를 일관되게 추정함으로써 분석적 신뢰구간을 구성함.
• 분석적 분산 추정이 불안정할 경우에 대비해 서브샘플링 기반의 신뢰구간도 제안함.

실험 결과

연구 질문

• RQ1 분위수 회귀 프레임워크를 어떻게 조건부 모드를 효율적이고 일관적으로 추정하는 데 적응시킬 수 있는가?
• RQ2 정규성 조건 하에서 제안된 조건부 모드 추정기의 점근적 분포는 무엇인가?
• RQ3 기존의 선형 모드 회귀 및 커널 기반 방법과 비교할 때, 제안된 방법은 어떤 유한표본 성능을 보이는가?
• RQ4 비표준 점근적 분포를 갖는 추정기의 경우, 분석적 및 서브샘플링 기반의 신뢰구간을 효과적으로 구성할 수 있는가?

주요 결과

• 제안된 추정기는 $ (nh^2)^{-1/3} $ 수렴 속도를 달성하며, 이는 표준 파라미터 추정 속도보다 느리지만 모드 추정에서 일반적인 속도임.
• 추정기의 점별 점근적 분포는 초록의 분포의 척도 변환으로, 세제곱근 점근적 이론에서 기인하는 비표준 점근적 분포임.
• 이 점근적 분포 덕분에 비교적 단순한 추론이 가능하며, 척도 상수를 일관되게 추정함으로써 분석적 신뢰구간을 구성할 수 있음.
• 서브샘플링 기반의 신뢰구간은 유효하고 강건하며, 특히 분석적 분산 추정이 신뢰할 수 없을 경우에 유용함.
• 몬테카를로 시뮬레이션을 통해 진짜 모드 함수가 비선형일 경우, 제안된 추정기가 선형 모드 회귀보다 루트 평균 제곱 오차 측면에서 뛰어난 성능을 보임.
• 결합 사이클 발전소 데이터를 활용한 실데이터 적용에서, 네트워크 시간당 전기 에너지 출력 예측에 성공적으로 적용되었으며, 강력한 유한표본 성능을 보임.