[논문 리뷰] Computation of projection regression depth and its induced median

Yijun Zuo|arXiv (Cornell University)|2019. 05. 28.

Advanced Statistical Methods and Models참고 문헌 33인용 수 4

한 줄 요약

이 논문은 투영 회귀 깊이(PRD)와 그에 유도된 중앙값(최대 깊이 추정기)을 계산하기 위한 정확한 및 근사 알고리즘을 제안하며, 각각 O(n² log n) 및 O(RpNβ(p² + nNvNIter))의 계산 비용을 달성한다. 이 논문은 PRD 기반의 세 가지 빠르고 강건한 추정기를 도입하여 PRD 중앙값보다 최대 30배 빠르게 하면서도 높은 정확도를 유지하고, 오염 조건 하에서 기존의 선형 회귀 깊이 중앙값보다 강건성과 효율성 면에서 뛰어나다.

ABSTRACT

Notions of depth in regression have been introduced and studied in the literature. The most famous example is Regression Depth (RD), which is a direct extension of location depth to regression. The projection regression depth (PRD) is the extension of another prevailing location depth, the projection depth, to regression. The computation issues of the RD have been discussed in the literature. The computation issues of the PRD have never been dealt with before. The computation issues of the PRD and its induced median (maximum depth estimator) in a regression setting are addressed now. For a given $\bsβ\in\R^p$ exact algorithms for the PRD with cost $O(n^2\log n)$ ($p=2$) and $O(N(n, p)(p^{3}+n\log n+np^{1.5}+npN_{Iter}))$ ($p>2$) and approximate algorithms for the PRD and its induced median with cost respectively $O(N_{\mb{v}}np)$ and $O(Rp N_{\bsβ}(p^2+nN_{\mb{v}}N_{Iter}))$ are proposed. Here $N(n, p)$ is a number defined based on the total number of $(p-1)$ dimensional hyperplanes formed by points induced from sample points and the $\bsβ$; $N_{\mb{v}}$ is the total number of unit directions $\mb{v}$ utilized; $N_{\bsβ}$ is the total number of candidate regression parameters $\bsβ$ employed; $N_{Iter}$ is the total number of iterations carried out in an optimization algorithm; $R$ is the total number of replications. Furthermore, as the second major contribution, three PRD induced estimators, which can be computed up to 30 times faster than that of the PRD induced median while maintaining a similar level of accuracy are introduced. Examples and simulation studies reveal that the depth median induced from the PRD is favorable in terms of robustness and efficiency, compared to the maximum depth estimator induced from the RD, which is the current leading regression median.

연구 동기 및 목표

• 투영 깊이를 회귀로 확장하는 강건한 회귀 깊이 개념인 투영 회귀 깊이(PRD)에 대한 계산 방법에 대한 오랜 공백을 메우기 위해.
• PRD 계산과 그에 유도된 중앙값을 위한 정확한 및 근사 알고리즘을 개발하여 고차원 회귀에서의 실용적 적용을 가능하게 하기 위해.
• 계산 효율성은 유지하면서도 강건성과 정확도를 유지하는 세 가지 새로운 PRD 기반 추정기를 도입하기 위해.
• 오염 조건 하에서 PRD 중앙값과 기존의 회귀 깊이(RD) 중앙값 간의 강건성, 효율성 및 파손점수를 비교하기 위해.
• 시뮬레이션을 통해 유한 표본에서 PRD 중앙값이 특히 오염 조건 하에서 뛰어난 성능을 보임을 입증하기 위해.

제안 방법

• 초평면 열거 및 최적화 기반으로 p=2일 때 O(n² log n) 비용, p>2일 때 O(N(n,p)(p³ + n log n + np¹·⁵ + npNIter)) 비용을 가지는 PRD 계산을 위한 정확한 알고리즘을 제안한다.
• 무작위 단위 방향과 반복 최적화를 사용하여 PRD에 대한 O(Nvnp) 비용과 유도된 중앙값에 대한 O(RpNβ(p² + nNvNIter)) 비용을 가지는 근사 알고리즘을 도입한다.
• 불합리성(UN)을 단위 벡터와 투영 잔차 간의 절대 상관계수의 Supremum으로 정의하여 PRD 계산의 기초를 마련한다.
• 모든 방향에서 강건성을 최대화함으로써 깊이를 계산하기 위해 투영-추적 프레임워크를 활용하며, 애핀 불변성과 척도 불변성을 보장한다.
• 방향 기반 탐색과 반복 정밀화를 활용하여 계산 부담을 줄이면서도 강건성을 손상시키지 않는 세 가지 빠른 추정기를 개발한다.
• 몬테카를로 시뮬레이션과 실제 데이터 예제를 사용하여 알고리즘의 유효성을 검증하고, 최소 제곱법 및 RD 중앙값과 같은 기존 방법과의 성능을 비교한다.

실험 결과

연구 질문

• RQ1 고차원 회귀 설정에서 투영 회귀 깊이(PRD)를 어떻게 효율적으로 계산할 수 있는가?
• RQ2 PRD 및 그에 유도된 중앙값에 대한 정확한 알고리즘과 근사 알고리즘의 계산 복잡도는 각각 얼마인가?
• RQ3 PRD에서 유도된 더 빠른 추정기를 유도할 수 있는가? 이는 계산 시간을 줄이면서도 높은 강건성과 정확도를 유지할 수 있는가?
• RQ4 오염 조건 하에서 PRD 기반 중앙값은 회귀 깊이(RD) 기반 중앙값과 비교해 강건성과 효율성 면에서 어떻게 다른가?
• RQ5 유한 표본에서 PRD 기반 추정기의 성능은 평균 제곱오차 및 파손점수 측면에서 어떻게 평가되는가?

주요 결과

• PRD 기반 중앙값(T*PRD)은 최대 50%의 유한 표본 파손점수를 가지며, RD 기반 중앙값(T*RD)의 33%보다 뚜렷이 높다.
• 모든 표본 크기 n에서 T*PRD는 T*RD보다 균일하게 더 효율적이며, 오염 조건 하에서 n=200일 때 효율성이 525%까지 증가한다.
• PRD 기반 중앙값은 오염 조건 하에서 최소 제곱 추정기보다 뛰어난 성능을 보이며, 한두 개 또는 세 개의 점이 심각하게 오염되어도 안정성을 유지한다.
• 제안된 세 가지 빠른 추정기는 PRD 중앙값보다 최대 30배 빠르게 계산되면서도 유사한 정확도와 강건성을 유지한다.
• PRD 중앙값은 RD 중앙값과 달리 고유하고 오염에 덜 민감하며, 비유일성과 낮은 유한 표본 파손점수 문제를 야기할 수 있는 RD 중앙값보다 열등하지 않다.
• 시뮬레이션 결과, 모든 깊이 기반 추정기의 평균 제곱오차(EMSE)는 표본 크기 n이 증가함에 따라 감소하며, 오염 조건 하에서도 PRD 기반 추정기가 최소 제곱법 및 RD 기반 추정기보다 항상 낮은 EMSE를 기록한다.