[논문 리뷰] On general notions of depth for regression

Yijun Zuo|arXiv (Cornell University)|2018. 05. 05.

Advanced Statistical Methods and Models참고 문헌 83인용 수 9

한 줄 요약

이 논문은 위치 깊이 원리를 회귀로 확장하여 통합된 프레임워크를 제안하며, 투영 깊이의 새로운 회귀 대응 개념을 제안하고 Rousseeuw-Hubert 회귀 깊이 및 Carrizosa 깊이와 같은 기존 개념들을 철저히 평가한다. 연속성, 일致성, 준볼록성과 같은 이론적 성질을 수립하고, 표본 분포에서 고전적 추정기들이 새로운 투영 회귀 깊이에 의해 복원됨을 보여준다.

ABSTRACT

Depth notions in location have fascinated tremendous attention in the literature. In fact data depth and its applications remain one of the most active research topics in statistics in the last two decades. Most favored notions of depth in location include Tukey (1975) halfspace depth (HD), Liu (1990) simplicial depth, and projection depth (Stahel (1981) and Donoho (1982), Liu (1992), Zuo and Serfling (2000) (ZS00) and Zuo (2003)), among others. Depth notions in regression have also been proposed, sporadically nevertheless. Regression depth (RD) of Rousseeuw and Hubert (1999) (RH99) is the most famous one which is a direct extension of Tukey HD to regression. Others include Carrizosa (1996) and the ones induced from Marrona and Yohai (1993) (MY93) proposed in this article. Is there any relationship between Carrizosa depth and RD of RH99? Do these depth notions possess desirable properties? What are the desirable properties? Can existing notions really serve as depth functions in regression? These questions remain open. Revealing the equivalence between Carrizosa depth and RD of RH99; expanding location depth evaluating criteria in ZS00 for regression depth notions; examining the existing regression notions with respect to the gauges; and proposing the regression counterpart of the eminent projection depth in location are the four major objectives of the article.

연구 동기 및 목표

• Zuo와 Serfling(2000)의 위치 깊이 평가 프레임워크를 확장하여, 회귀 깊이 개념을 평가하기 위한 일관된 축약 기준 세트를 수립하기 위해.
• Carrizosa 깊이와 Rousseeuw-Hubert 회귀 깊이 간의 이론적 관계를 명확히 하여 이들의 개념적 연결에 대한 모호함을 해소하기 위해.
• 특히 Rousseeuw-Hubert 및 Carrizosa 깊이를 포함한 기존의 회귀 깊이 개념들이 제안된 평가 기준을 충족하는지 평가하기 위해.
• 위치 투영 깊이의 자연스러운 회귀 대응 개념으로서 새로운 회귀 깊이 개념을 도입하고 형식화하여 낙관성과 이론적 일致성을 확보하기 위해.
• 표본 분포에서 최대 깊이 추정기들이 고전적 추정기들(예: 최소제곱, 최소절대편차)을 복원함을 보여주기 위해.

제안 방법

• Marrona와 Yohai(1993)의 영감을 받은 투영-추적 기반 공식화를 포함한 네 가지 별도의 접근 방식을 통해, 회귀에서의 부적합성과 깊이에 대한 일반적 정의를 제안한다.
• Tukey의 반공간 깊이를 회귀로 일반화하여, 회귀 초평면을 수직으로 기울일 때 반드시 지나쳐야 할 최소 확률 질량으로서 회귀 깊이를 정의한다.
• 위치 투영 깊이를 회귀로 직접 확장한 투영 회귀 깊이(PR D)를 도입하며, 잔차의 방향성 투영을 사용한다.
• 표본 과정 이론과 연속성 추론을 활용하여, 표본 회귀 깊이가 그 집합적 대응체로 거의 확실하게 균일 수렴함을 수립한다.
• 확률 측도의 상부 반연속성 및 이 네이션 성질을 적용하여 깊이 함수의 연속성과 준볼록성을 증명한다.
• 깊이의 함수적 형태를 활용하여 최대 깊이 추정기를 유도하며, 이는 최대 부적합성을 최소화하고 표본 분포에서 고전적 추정기를 복원한다.

실험 결과

연구 질문

• RQ1 Carrizosa 깊이와 Rousseeuw-Hubert 회귀 깊이 간의 이론적 관계는 무엇인가?
• RQ2 회귀 깊이 개념이 타당하고 낙관적인 것으로 간주되기 위해 만족해야 할 축약 성질은 무엇인가?
• RQ3 기존의 회귀 깊이 개념들(예: Rousseeuw-Hubert, Carrizosa)이 제안된 평가 기준을 충족할 수 있는가?
• RQ4 주목할 만한 위치 투영 깊이의 자연스러운 회귀 대응은 무엇인가?
• RQ5 새로운 프레임워크에서 유도된 최대 깊이 추정기는 최소제곱 및 최소절대편차와 같은 고전적 추정기들과 어떻게 관련이 있는가?

주요 결과

• Carrizosa 깊이와 Rousseeuw-Hubert 회귀 깊이는 공통된 기하학적 및 확률적 기초를 공유하지만, 구조와 성질에서 다름을 입증하였다.
• 제안된 투영 회귀 깊이(PR D)는 매개변수 공간에서 준볼록성을 띠며, 미약한 조건 하에서 유일한 가장 깊은 추정기 존재를 보장한다.
• 회귀 깊이 함수는 상부 반연속성이며, 규칙성 조건 하에서 표본 회귀 깊이는 거의 확실하게 균일하게 집합적 깊이 함수로 수렴한다.
• PR D 기반 최대 깊이 추정기는 고전적 추정기를 복원한다: 표본 분포를 사용할 경우 최소제곱 및 최소절대편차가 복원된다.
• 기본 분포에 밀도가 존재할 경우 깊이 함수는 연속적이며, 데이터가 단일 회귀 초평면 위에 완전히 존재할 경우에만 불연속성이 발생한다.
• 새로운 프레임워크는 낙관적 회귀 추정을 위한 통합된 이론적 기초를 제공하며, 가장 깊은 추정기는 낙관적이며 점점 일致한다.