[논문 리뷰] Neighborhoods as Nuisance Parameters? Robustness vs. Semiparametrics

Helmut Rieder|arXiv (Cornell University)|2014. 12. 04.

Advanced Statistical Methods and Models참고 문헌 18인용 수 3

한 줄 요약

이 논문은 모형 편미분을 무한차원의 부수적 매개변수로 모델링한 상황에서, 반모수적 방법—특히 스코어를 탄젠트 공간에 투영하는 방법—이 최적의 강건성 추정기의 성립 여부를 조사한다. 이는 헬링거 이웃성에서 반모수적 영향 곡선이 최적의 강건성 영향 곡선과 일치하지만, 총변화 및 오염 이웃성에서는 클리핑 효과가 나타나지만 최소최대 평균제곱오차 최적성에 도달하지 못함을 보여준다.

ABSTRACT

Deviations from the center within a robust neighborhood of a parametric model distribution may naturally be considered an infinite dimensional nuisance parameter. Thus, the semiparametric method may be tried, which is to compute the scores function for the main parameter minus its orthogonal projection on the closed linear tangent space for the nuisance parameter, and then rescale for Fisher consistency. In this paper, we derive such a semiparametric influence curve by nonlinear projection on the tangent balls arising in robust statistics. This semiparametric influence curve is then compared with the optimally robust influence curve that minimizes maximum weighted mean square error of the corresponding asymptotically linear estimators over infinitesimal neighborhoods. For Hellinger balls, the two coincide (with the classical one). In the total variation model, the semiparametric IC solves the robust MSE problem for a particular bias weight. In the case of contamination neighborhoods, the semiparametric IC is bounded only from above. Due to an interchange of truncation and linear combination, the discrepancy increases with the dimension. While there is coincidence for Hellinger balls, at least clipping is achieved for total variation and contamination neighborhoods, but the semiparametric method in general falls short to solve the minimax MSE estimation problem for the gross error models. The semiparametric approach is carried further to testing contaminated hypotheses. In the one-sided case, for testing hypotheses defined by any two closed convex sets of tangents, a saddle point is furnished by projection on the set of differences of these sets. For total variation and contamination neighborhoods, we thus recover the robust asymptotic tests based on least favorable pairs. So the two approaches agree in the testing context.

연구 동기 및 목표

• 모형 편미분이 무한차원의 부수적 매개변수로 작용하는 반모수적 이웃성 모델에 반모수적 방법을 적용할 수 있는지 탐색하기.
• 스코어를 탄젠트 공간에 투영하는 반모수적 접근이 최대 가중 평균제곱오차를 최소화하는 데 최적의 추정기로 이어지는지 평가하기.
• 헬링거, 총변화, 오염 이웃성과 같은 다양한 유형의 이웃성 모델 하에서 반모수적 영향 곡선과 최적의 강건성 영향 곡선 간의 관계를 조사하기.
• 특히 오염된 모형에서의 한쪽 검정 가설에 대해 반모수적 프레임워크를 강건한 검정으로 확장하기.
• 반모수적 방법이 총변화 및 오염 이웃성에서 최소유력 쌍 기반으로 알려진 강건한 점근적 검정을 회복할 수 있는지 확인하기.

제안 방법

• 강건 통계에서 발생하는 탄젠트 구를 기반으로 비선형적으로 스코어 함수를 탄젠트 구에 투영함으로써 반모수적 영향 곡선을 유도함. 선형 탄젠트 공간이 아닌, 비선형 투영을 통해 수행함.
• 표준 반모수적 절차를 적용: 주요 매개변수의 스코어 함수를 계산하고, 부수적 매개변수의 닫힌 선형 탄젠트 공간에 대한 수직 투영을 빼며, 피셔 일관성 유지하기 위해 재스케일링함.
• 부수적 탄젠트 집합이 선형 공간이 아닌 경우를 고려하여, 닫힌 구(예: 헬링거, 총변화, 오염 구)에 직접 비선형 투영을 수행함.
• 크래머-라오 하한과 점근적 최소최대 이론을 활용하여 반모수적 영향 곡선의 성능을 최대 가중 평균제곱오차를 최소화하는 최적의 강건성 영향 곡선과 비교함.
• 가설 검정에 적용하기 위해, 두 개의 닫힌 볼린 볼린 탄젠트 쌍의 차집합 집합에 대한 투영을 통해 안장점 구조를 구성함.
• 총변화 및 오염 이웃성에서, 유도된 반모수적 영향 곡선이 스코어 함수의 클리핑된 형태임을 입증함. 이는 함펠-크라스커 영향 곡선과 유사함.

실험 결과

연구 질문

• RQ1 탄젠트 공간에 대한 투영 기반 반모수적 방법이 이웃성 모델에 대해 최적의 강건성 영향 곡선을 생성할 수 있는가?
• RQ2 반모수적 영향 곡선이 최대 가중 평균제곱오차를 최소화하는 최적의 강건성 영향 곡선과 일치하는 조건은 무엇인가?
• RQ3 반모수적 접근이 오염 및 총변화 이웃성에서 최소유력 쌍 기반으로 알려진 강건한 점근적 검정을 회복하는가?
• RQ4 부수적 탄젠트 집합이 선형 공간이 아니라 닫힌 구일 경우 반모수적 영향 곡선은 어떻게 되는가?
• RQ5 반모수적 방법이 거대 오차 모형에서 최소최대 평균제곱오차 추정 문제를 충분히 해결하는가?

주요 결과

• 헬링거 이웃성에서는 비선형 투영을 통한 반모수적 영향 곡선이 고전적으로 최적의 영향 곡선과 정확히 일치함.
• 총변화 및 오염 이웃성에서는 반모수적 영향 곡선이 스코어 함수의 클리핑된 형태이며, 최적의 강건성 영향 곡선의 핵심 특징을 반영함.
• 클리핑에도 불구하고 반모수적 방법은 거대 오차 모형에서 최소최대 평균제곱오차 최적성에 도달하지 못함을 보여, 근본적인 제약이 있음.
• 반모수적 접근은 오염 및 총변화 이웃성에서 최소유력 쌍 기반으로 알려진 강건한 점근적 검정을 회복함. 특히 탄젠트 쌍의 차집합 집합에 대한 투영을 통해 실현됨.
• 탄젠트 구에 대한 비선형 투영을 통해 유도된 영향 곡선은 피셔 일관성을 만족하고 점근적으로 선형이므로, 정규 조건 하에서 유효한 추론이 가능함.
• 오염 및 총변화 이웃성에서 최소유력 탄젠트 쌍의 유일성은, 표본 크기가 증가함에 따라 임계 헬링거 거리가 두 최소유력 확률 쌍 사이에서 0으로 수렴함을 시사함.