[논문 리뷰] From Halfspace M-depth to Multiple-output Expectile Regression

Abdelaati Daouia, Davy Paindaveine|arXiv (Cornell University)|2019. 05. 29.

Advanced Statistical Methods and Models참고 문헌 48인용 수 4

한 줄 요약

이 논문은 초평면 값의 다변량 M-분위수와 새로운 통계적 깊이, 반면분위수 M-깊이를 소개한다. 반면분위수 M-깊이는 표준 분위수 이질성 대신 M-분위수 이질성을 사용하여 Tukey의 반면분위수 깊이를 일반화한다. 이 방법은 다중 출력 예상치 회귀를 가능하게 하며, 예상치 깊이는 Tukey 깊이보다 더 매끄럽고 더 좋은 단조성 특성을 보이며, 다변량 예상치는 위험 측도 이론의 일관성 공리(axioms)를 만족하고 효율적인 계산 및 회귀 모델링을 지원한다.

ABSTRACT

Despite the renewed interest in the Newey and Powell (1987) concept of expectiles in fields such as econometrics, risk management, and extreme value theory, expectile regression---or, more generally, M-quantile regression---unfortunately remains limited to single-output problems. To improve on this, we introduce hyperplane-valued multivariate M-quantiles that show strong advantages, for instance in terms of equivariance, over the various point-valued multivariate M-quantiles available in the literature. Like their competitors, our multivariate M-quantiles are directional in nature and provide centrality regions when all directions are considered. These regions define a new statistical depth, the halfspace M-depth, whose deepest point, in the expectile case, is the mean vector. Remarkably, the halfspace M-depth can alternatively be obtained by substituting, in the celebrated Tukey (1975) halfspace depth, M-quantile outlyingness for standard quantile outlyingness, which supports a posteriori the claim that our multivariate M-quantile concept is the natural one. We investigate thoroughly the properties of the proposed multivariate M-quantiles, of halfspace M-depth, and of the corresponding regions. Since our original motivation was to define multiple-output expectile regression methods, we further focus on the expectile case. We show in particular that expectile depth is smoother than the Tukey depth and enjoys interesting monotonicity properties that are extremely promising for computational purposes. Unlike their quantile analogs, the proposed multivariate expectiles also satisfy the coherency axioms of multivariate risk measures. Finally, we show that our multivariate expectiles indeed allow performing multiple-output expectile regression, which is illustrated on simulated and real data.

연구 동기 및 목표

• 경제학 및 위험 관리 분야에서 예상치 회귀가 단일 출력 문제에 국한된 한계를 해결한다.
• 등변성 및 일관성과 같은 바람직한 성질을 유지하는 다변량 M-분위수 회귀의 확장판을 개발한다.
• M-분위수 이질성을 사용하여 표준 분위수 이질성을 대체함으로써 Tukey 깊이를 일반화하는 새로운 통계적 깊이, 반면분위수 M-깊이를 제안한다.
• 초평면 값의 다변량 예상치를 정의함으로써 다중 출력 예상치 회귀를 가능하게 한다.
• 예상치 깊이가 Tukey 깊이보다 계산적·이론적으로 유리한 점, 즉 더 매끄러운 행동과 단조성 특성을 입증한다.

제안 방법

• 비대칭 제곱손실(L2)을 사용하여 단변량 M-분위수의 방향적 확장으로 초평면 값의 다변량 M-분위수를 정의한다.
• Tukey의 반면분위수 깊이 프레임워크에서 표준 분위수 이질성 대신 M-분위수 이질성을 사용하여 반면분위수 M-깊이를 구성한다.
• 반면분위수 M-깊이의 가장 깊은 점이 예상치의 경우 평균 벡터와 일치함을 증명한다.
• 예상치 깊이가 더 매끄럽고 최적화 및 계산에 유리한 단조성 성질을 보임을 증명한다.
• 다변량 예상치에 대해 일관성 공리(axioms)를 유도하고 검증하여 위험 측도 이론과의 호환성을 확보한다.
• 제안된 다변량 예상치를 사용하여 다중 출력 예상치 회귀를 구현하고 시뮬레이션 및 실데이터로 검증한다.

실험 결과

연구 질문

• RQ1 M-분위수 회귀는 등변성 및 일관성을 유지하면서 다변량 반응에 확장될 수 있는가?
• RQ2 반면분위수 M-깊이와 Tukey 깊이 사이의 매끄러움과 계산 가능성 측면에서 어떤 비교가 가능한가?
• RQ3 다변량 예상치는 일관성 있는 위험 측도에 요구되는 일관성 공리(axioms)를 만족하는가?
• RQ4 제안된 다변량 예상치는 효율적이고 안정적인 다중 출력 회귀를 지원할 수 있는가?
• RQ5 예상치 깊이의 단조성 및 연속성 성질은 수치 최적화를 어떻게 지원하는가?

주요 결과

• 반면분위수 M-깊이는 표준 분위수 이질성 대신 M-분위수 이질성을 사용함으로써 Tukey 깊이를 일반화하며 자연스러운 다변량 확장이 된다.
• 반면분위수 M-깊이의 가장 깊은 점은 예상치의 경우 평균 벡터와 일치하며 직관적인 중심성과 부합한다.
• 예상치 깊이는 Tukey 깊이보다 더 매끄럽고 단조성을 보이며, 효율적인 수치 계산을 지원한다.
• 다변량 예상치는 위험 측도의 일관성 공리(axioms)를 만족하므로 위험 관리 응용에 적합하다.
• 제안된 다변량 예상치를 사용하여 다중 출력 예상치 회귀를 성공적으로 구현하였으며, 실데이터 및 시뮬레이션 데이터에서 성능이 입증되었다.
• 이 방법은 비모수적 밀도 추정을 피함으로써 스무딩 없이 추론가능하며, 이는 분위수 회귀와 다릅니다.