[논문 리뷰] Confidence regions and minimax rates in outlier-robust estimation on the probability simplex

Amir-Hossein Bateni, Arnak S. Dalalyan|arXiv (Cornell University)|2019. 02. 12.

Advanced Statistical Methods and Models참고 문헌 30인용 수 7

한 줄 요약

이 논문은 최대 ε 비율의 관측치가 임의로 손상된 경우 k차원 단형상에서 확률 벡터의 이상치에 강건한 추정을 다룬다. 총변화, 헬링거, L² 거리에 대해 최소최대 속도를 확립하며, 표본 평균이 세 지표 모두에서 최적의 속도를 달성하고, 희소성에 적응하는 명시적인 고확률 경계를 제공하는 신뢰영역을 제시한다.

ABSTRACT

We consider the problem of estimating the mean of a distribution supported by the $k$-dimensional probability simplex in the setting where an $\\varepsilon$ fraction of observations are subject to adversarial corruption. A simple particular example is the problem of estimating the distribution of a discrete random variable. Assuming that the discrete variable takes $k$ values, the unknown parameter $\\boldsymbol \ heta$ is a $k$-dimensional vector belonging to the probability simplex. We first describe various settings of contamination and discuss the relation between these settings. We then establish minimax rates when the quality of estimation is measured by the total-variation distance, the Hellinger distance, or the $\\mathbb L^2$-distance between two probability measures. We also provide confidence regions for the unknown mean that shrink at the minimax rate. Our analysis reveals that the minimax rates associated to these three distances are all different, but they are all attained by the sample average. Furthermore, we show that the latter is adaptive to the possible sparsity of the unknown vector. Some numerical experiments illustrating our theoretical findings are reported.

연구 동기 및 목표

• 최대 ε 비율의 관측치가 적대적으로 손상된 경우 k차원 확률 단형상 위의 분포 평균에 대한 최소최대 추정 위험을 분석한다.
• 총변화, 헬링거, L² 거리로 측정된 추정 오차에 대해 비점근적 최소최대 하한 및 상한을 확립한다.
• 오염 하에서도 유효한 확률 1−δ 이상으로 수축하는 최소최대 속도를 갖는 신뢰영역을 구성한다.
• 표본 평균이 세 거리 지표 모두에서 최소최대 최적임을 보이며, 진짜 매개변수의 희소성에 적응함을 보여준다.
• 모든 가능한 오염 분포와 희소 매개변수 벡터에 대해 균일하게 성립하는 이론적 보장을 제공한다.

제안 방법

• 각 관측치가 기준 분포 P와 오염 분포 Q의 혼합에서 유래되며, ε 비율의 이상치를 포함하는 허버 오염 모델을 분석한다.
• 진짜 평균 θ가 s-희소일 때, 모든 가능한 기준 및 오염 분포 P와 Q에 대한 최악의 상한(sup)을 고려하여 최소최대 위험 경계를 유도한다.
• 총변화, 헬링거, L² 거리에서의 기대 추정 오차를 제한하기 위해 대칭화 및 경험과정 기법을 사용한다.
• 특히 희소 성분이 존재할 경우 표본 평균이 진짜 평균에서 벗어나지 않도록 제어하기 위해 베르누이 및 호프딩 유사 부등식을 적용한다.
• 특히 헬링거 거리 분석에서 진짜 매개변수 벡터의 작은 성분을 다루기 위해 절단 및 대칭화 방법을 도입한다.
• 신뢰영역 B_□(X̄_n, r_n,ε,δ)를 구성하여 진짜 매개변수가 확률 1−δ 이상으로 이 영역 내에 포함되도록 하며, 반경 r_n,ε,δ가 최소최대 속도와 일치하도록 한다.

실험 결과

연구 질문

• RQ1 ε 비율의 이상치가 존재하는 적대적 오염 하에서 단형상 위의 분포 평균에 대한 최소최대 추정 속도는 무엇인가?
• RQ2 총변화, 헬링거, L² 거리 간 최소최대 속도는 어떻게 다를 수 있으며, 표본 평균은 세 지표 모두에서 최적인가?
• RQ3 오염 하에서도 유효하고 최소최대 속도로 수축하는 신뢰영역을 구성할 수 있는가?
• RQ4 표본 평균은 이상치 존재 하에서 진짜 매개변수 벡터 θ의 희소 수준 s에 적응하는가?
• RQ5 모든 가능한 오염 모델에 대해 균일하게 성립하는 비점근적 고확률 추정 오차 경계는 무엇인가?

주요 결과

• ε-오염 하에서 단형상 위의 추정에 대한 최소최대 위험은 총변화 및 L² 거리에서는 (s/n)^{1/2}의 주머니이며, 고확률 신뢰영역에서는 (s/n)^{1/2} log(1/δ)^{1/2}의 주머니이다.
• 헬링거 거리의 경우 최소최대 위험은 (s log(1/δ)/n)^{1/2}의 주머니이며, 이 속도는 표본 평균에 의해 달성된다.
• 표본 평균은 총변화, 헬링거, L² 거리 모두에서 최소최대 최적임이 입증되며, 적대적 이상치가 존재하더라도 성립한다.
• 표본 평균 기반의 신뢰영역은 최소최대 속도를 달성하며, 확률 1−δ 이상로 유효하며, 헬링거 거리의 경우 반경이 (s log(1/δ)/n)^{1/2}으로, 총변화 거리의 경우 (log(1/δ)/n)^{1/2}로 척도화된다.
• 분석 결과, 세 거리 지표의 최소최대 속도는 서로 다름을 확인하였으며, 헬링거 거리의 속도가 거리의 비선형성으로 인해 더 느리게 나타남을 밝혔다.
• 표본 평균은 진짜 매개변수 벡터 θ의 희소 수준 s에 적응하며, 사전에 s의 값을 알 필요 없이 최적의 속도를 달성한다.