[논문 리뷰] When does the Tukey median work?

Banghua Zhu, Jiantao Jiao외 1명|arXiv (Cornell University)|2020. 01. 21.

Advanced Statistical Methods and Models참고 문헌 11인용 수 4

한 줄 요약

이 논문은 총변동(TV) 오염 하에서 Tukey 중앙값의 강건성을 분석하여, 고차원 반공간대칭 분포에서의 붕괴점이 1/4로 떨어지며, Huber의 덧셈 모델에서의 1/3보다 열 劣하다는 것을 보여준다. 반면, 반공간 거리 기준으로 작동하는 새로운 투영 알고리즘을 제안하여 이론적 한계에 맞는 최적의 붕괴점 1/2를 달성하였으며, 차원에 대해 선형 샘플 복잡도를 가지며 유한 표본 성능도 뛰어나다.

ABSTRACT

We analyze the performance of the Tukey median estimator under total variation (TV) distance corruptions. Previous results show that under Huber's additive corruption model, the breakdown point is 1/3 for high-dimensional halfspace-symmetric distributions. We show that under TV corruptions, the breakdown point reduces to 1/4 for the same set of distributions. We also show that a certain projection algorithm can attain the optimal breakdown point of 1/2. Both the Tukey median estimator and the projection algorithm achieve sample complexity linear in dimension.

연구 동기 및 목표

• 더 강력한 총변동(TV) 오염 모델 하에서 Tukey 중앙값 추정기의 성능을 이해하기 위해, 진짜 분포에서 질량을 추가하거나 제거할 수 있는 모델을 고려한다.
• 특히 고차원 반공간대칭 분포에 대해 TV 오염 하에서 Tukey 중앙값의 최대 편향과 붕괴점을 정량화한다.
• Tukey 중앙값과 다른 강건 추정기 간의 비교를 통해, 특히 TV 오염 하에서 붕괴점과 유한 표본 성능 측면에서의 성능을 분석한다.
• 반공간대칭 분포에 대해 최적의 붕괴점 1/2를 달성하는 새로운 투영 기반 알고리즘을 제안하고 분석한다.

제안 방법

• 논문은 Tukey 중앙값을 최대 Tukey 깊이를 가지는 점(들)으로 정의하며, 깊이는 어떤 초평면이 점을 통과할 때 그 한쪽에 있는 확률 질량의 하한값으로 정의된다.
• TV 오염 하에서 Tukey 중앙값의 인구 수준 분석을 수행하며, 붕괴점의 최대 편향을 유계로 만들기 위해 감쇠 함수 h(t)의 일반화된 역함수를 사용한다.
• 저자들은 새로운 추정기인 $\widetilde{\mathsf{TV}}$ 투영 알고리즘을 정의하며, 오염된 표본 분포를 꼬리 감쇠가 통제된 반공간대칭 분포 집합 위로 투영한다.
• 편향과 붕괴점의 더 엄밀한 제어를 가능하게 하기 위해 수정된 $\widetilde{\mathsf{TV}}$ 거리 기반으로 투영을 수행한다.
• 표본 수 n 이 차원 d 와 선형 관계에 있을 때, 무한 표본 극한에 대해 일정 요소 내에서 수렴함을 보여주는, 표본 유한성 분석을 수행한다.
• 방법론은 무작위 및 적응형 오염 모델 하에서 Tukey 중앙값과 투영 알고리즘을 비교하며, 이들의 이론적 보장을 확립한다.

실험 결과

연구 질문

• RQ1 TV 오염 하에서 Tukey 중앙값 추정기의 붕괴점은 고전적 Huber 덧셈 모델과 비교해 어떻게 되는가?
• RQ2 반공간대칭 분포에 대해 TV 오염 하에서 붕괴점 1/2를 달성할 수 있는 강건 추정기는 존재하는가? 그리고 이것이 최적인가?
• RQ3 TV 오염 하에서 Tukey 중앙값의 유한 표본 성능은 인구 수준의 행동과 어떻게 비교되는가?
• RQ4 TV 오염 하에서 $\widetilde{\mathsf{TV}}$ 투영 알고리즘이 최대 편향과 붕괴점 측면에서 Tukey 중앙값을 능가하는가?
• RQ5 TV 오염 하에서 강건 추정에서 애핀-불변성과 최적 붕괴점 사이에 상충 관계가 존재하는가?

주요 결과

• TV 오염 하에서 고차원 반공간대칭 분포에 대해 Tukey 중앙값의 붕괴점은 1/4이며, 이는 Huber의 덧셈 모델에서의 1/3보다 낮다.
• $\widetilde{\mathsf{TV}}$ 투영 알고리즘은 동일한 분포 클래스에 대해 붕괴점 1/2를 달성하며, 이는 어떤 이동-등변 추정기의 이론적 최적값이다.
• 투영 추정기의 최대 편향은 $ 2h^{-1}(1/2 - \epsilon) $ 로 유계이며, 여기서 $ h $ 는 분포 꼬리의 감쇠 함수이고, $ \epsilon $ 은 TV 오염 수준이다.
• 표본 수 $ n $ 이 차원 $ d $ 와 선형 관계에 있을 때, Tukey 중앙값과 투영 알고리즘의 유한 표본 성능은 일정 요소 내에서 인구 극한에 수렴한다.
• TV 오염 하에서 Tukey 중앙값보다 투영 알고리즘이 최대 편향과 붕괴점 측면에서 더 우수한 성능을 보이지만, 애핀-불변성은 아니다.
• 논문은 열린 문제를 제기한다: 계산 효율성 요구 없이 TV 오염 하에서 붕괴점 1/2와 양호한 유한 표본 오차를 가지는 애핀-불변 추정기를 설계하는 것.