[논문 리뷰] Sublinear expectation linear regression

Lu Lin, Yufeng Shi외 2명|arXiv (Cornell University)|2013. 04. 12.

Statistical Methods and Inference참고 문헌 22인용 수 8

한 줄 요약

이 논문은 오차 분포의 평균이 명확하지 않고 구간 내에 존재하는 모델 불확실성 하에서 통계적 추론을 다루기 위해 하향선형 기대선형 회귀 모델을 제안한다. 최소화 최대 최적화 기반 추정기, 매개변수 추정치의 점근적 정규성, 고차원 설정에서의 새로운 변수 선택 방법을 개발하여, 고전적 방법과는 다를 바 있는 비선형 기대통계의 기초를 제공한다.

ABSTRACT

Nonlinear expectation, including sublinear expectation as its special case, is a new and original framework of probability theory and has potential applications in some scientific fields, especially in finance risk measure and management. Under the nonlinear expectation framework, however, the related statistical models and statistical inferences have not yet been well established. The goal of this paper is to construct the sublinear expectation regression and investigate its statistical inference. First, a sublinear expectation linear regression is defined and its identifiability is given. Then, based on the representation theorem of sublinear expectation and the newly defined model, several parameter estimations and model predictions are suggested, the asymptotic normality of estimations and the mini-max property of predictions are obtained. Furthermore, new methods are developed to realize variable selection for high-dimensional model. Finally, simulation studies and a real-life example are carried out to illustrate the new models and methodologies. All notions and methodologies developed are essentially different from classical ones and can be thought of as a foundation for general nonlinear expectation statistics.

연구 동기 및 목표

• 오차 평균이 정확히 알려져 있지 않고 구간 내에 존재하는 모델 불확실성 하에서 선형 회귀에 대한 통계적 프레임워크를 수립하는 것.
• 평균 불확실성 하에서 식별 가능성이 입증된 하향선형 기대선형 회귀 모델을 정의하는 것.
• 분포의 모호성에 대해 강건한, 특히 최소화 최대 최적화를 활용한 매개변수 추정 및 예측 방법을 개발하는 것.
• 점근적 정규성 및 모델 선택과 같은 고전적 통계적 추론을 비선형 기대 설정으로 확장하는 것.
• 고전적 비모수적 또는 베이지안 프레임워크와는 다를 바 있는 비선형 기대 모델에 대한 통계적 추론의 새로운 기초를 제공하는 것.

제안 방법

• 오차 평균이 불확실하고 알려진 구간 내에 존재하는 하향선형 기대선형 회귀 모델을 제안하며, 하향선형 기대의 표현 정리를 활용한다.
• 다양한 분포에 걸쳐 경험 위험을 최소화 최대 최적화함으로써 추정기를 정의하여 모델 모호성에 대한 강건성을 확보한다.
• 한계 목표 함수에 대해 Lindeberg-Feller 중심극한정리 적용을 통해 매개변수 추정기의 점근적 정규성을 도출한다.
• 최소화 최대 추정 기반의 새로운 변수 선택 방법을 도입하여 평균 불확실성 하에서 고차원 모델 선택을 가능하게 한다.
• 최대 경험 위험을 최소화하는 것과 잔차 및 설계 행렬을 포함한 볼록 목표 함수를 최소화하는 것이 동치임을 이용한다.
• 실제 데이터 및 시뮬레이션에 이론을 적용하여, 분포의 모호성 하에서도 추정기의 강건성과 일致성을 입증한다.

실험 결과

연구 질문

• RQ1 오차 평균이 고정되어 있지 않고 구간 내에 존재할 경우, 어떻게 선형 회귀 모델을 일致적으로 정의할 수 있는가?
• RQ2 하향선형 기대 하에서 유효하고 일치하는 추정 방법은 무엇이며, 점근적 정규성과 같은 고전적 성질을 유지하는가?
• RQ3 모델 불확실성 하에서 고차원 설정에서 변수 선택을 효과적으로 수행할 수 있으며, 고전적 방법과 어떻게 다를 수 있는가?
• RQ4 분포의 모호성 하에서 제안된 추정기와 고전적 최소제곱 또는 최대우도 추정기 간의 비교는 어떻게 이루어지는가?
• RQ5 비선형 기대 모델에서의 통계적 추론의 이론적 기초는 무엇이며, 고전적 통계와 어떻게 다를 수 있는가?

주요 결과

• 제안된 회귀계수 추정기는 점근적으로 정규분포를 따르며, 이 한계 분포는 최소화 최대 목표 함수에 Lindeberg-Feller 중심극한정리를 적용하여 유도된다.
• 추정기는 최악의 경우 예측 오차를 최소화하는 최소화 최대 예측 성질을 갖는다. 이는 모든 가능한 분포가 포함된 모호성 집합 내에서 최악의 예측 오차를 최소화한다.
• 진짜 평균이 0일 경우 추정기는 고전적 최소제곱 추정기와 동일하지만, 평균이 불확실할 경우 다르게 나타난다.
• 변수 선택 방법은 고차원 설정에서 일致적이며, 모델 불확실성 하에서도 관련 예측변수를 효과적으로 식별한다.
• 시뮬레이션 연구와 중국의 NPL 비율에 대한 실질적 사례 분석을 통해, 모델의 강건성과 실용적 유용성이 평균 불확실성 하에서 확인된다.
• 모델과 추론 프레임워크는 고전적 통계와 근본적으로 다르며, 단일로 알려진 확률 분포에 의존하지 않는다.