[논문 리뷰] Robust Estimation under Heavy Contamination using Enlarged Models

Takafumi Kanamori, Hironori Fujisawa|arXiv (Cornell University)|2013. 11. 21.

Advanced Statistical Methods and Models참고 문헌 16인용 수 5

한 줄 요약

이 논문은 무거운 尾 또는 이상치로 오염된 데이터에서 모형 파라미터와 오염 비율을 동시에 추정하기 위해 확장된 모형을 사용하는 강건한 추정 프레임워크를 제안한다. 통계 모형을 오염 비율을 포함하도록 확장함으로써, 이 방법은 이상치 탐지 기능을 갖추고 있으며, 이질적인 오염 조건에서도 낮은 편향을 유지한다. 수치 실험에서 기존 추정기보다 뛰어난 성능을 보였다.

ABSTRACT

In data analysis, contamination caused by outliers is inevitable, and robust statistical methods are strongly demanded. In this paper, our concern is to develop a new approach for robust data analysis based on scoring rules. The scoring rule is a discrepancy measure to assess the quality of probabilistic forecasts. We propose a simple way of estimating not only the parameter in the statistical model but also the contamination ratio of outliers. Estimating the contamination ratio is important, since one can detect outliers out of the training samples based on the estimated contamination ratio. For this purpose, we use scoring rules with an extended statistical models, that is called the enlarged models. Also, the regression problems are considered. We study a complex heterogeneous contamination, in which the contamination ratio of outliers in the dependent variable may depend on the independent variable. We propose a simple method to obtain a robust regression estimator under heterogeneous contamination. In addition, we show that our method provides also an estimator of the expected contamination ratio that is available to detect the outliers out of training samples. Numerical experiments demonstrate the effectiveness of our methods compared to the conventional estimators.

연구 동기 및 목표

• 측정 또는 기록 오류로 인해 이상치를 포함하는 데이터에서 강건한 통계적 추론을 수행하는 데 도전하는 것.
• 모형 파라미터와 오염 비율을 동시에 추정하는 통합된 방법을 개발하는 것.
• 추정된 오염 비율을 기반으로 밀도 값이 낮은 샘플을 식별하여 이상치 탐지 기능을 제공하는 것.
• 오염 비율이 공변량에 따라 변하는 복잡한 오염 시나리오(이질적 오염)를 다루는 것.
• 스코어링 규칙과 확장된 모형을 사용하여 이론적으로 탄탄하고 점근적으로 타당한 강건한 추정 프레임워크를 제공하는 것.

제안 방법

• 확률 밀도 함수가 아닌 비음수 함수 위에서 정의된 스코어링 규칙을 사용하여 강건한 추정기 수립.
• 기존 통계 모형과 오염 성분을 포함하는 확장된 모형을 도입하여 파라미터와 오염 비율을 동시에 추정할 수 있도록 하는 것.
• 무거운 오염에 강건한 추정기를 도출하기 위해 호일더 스코어(Hölder score, 스코어링 규칙의 일종)를 적용하는 것.
• 모형의 가중치 맞춤과 오염 성분의 균형을 맞추기 위한 추정 방정식을 풀어 오염 비율을 추정하는 것.
• 점근 이론을 적용하여 추정기의 점근적 분포를 유도하고, 복잡한 오염 조건 하에서도 일致성과 낮은 편향을 보임을 보여주는 것.
• 회귀 분석의 경우, 공변량에 따라 이상치 비율이 변하는 이종 분산 오염 조건을 다룰 수 있도록 방법을 확장하는 것.

실험 결과

연구 질문

• RQ1 무거운 오염 조건 하에서도 단일 추정 프레임워크가 동시에 모형 파라미터와 오염 비율을 추정할 수 있는가?
• RQ2 학습 데이터로부터 추정된 오염 비율을 기반으로 이상치 탐지를 체계적으로 수행할 수 있는가?
• RQ3 오염 비율이 공변량에 따라 변하는 이질적 오염 조건 하에서 제안된 추정기의 점근적 행동은 어떠한가?
• RQ4 입력 변수와 출력 변수 모두 오염된 경우에도 이 방법이 낮은 편향과 높은 효율성을 유지하는가?
• RQ5 추정 정확도와 이상치 탐지 성능 측면에서 기존의 강건 추정기와 비교해 볼 때 제안된 방법은 어떠한가?

주요 결과

• 제안된 추정기는 오염 비율이 공변량에 따라 변하는 이질적 오염 조건 하에서도 점근적 일치성과 낮은 편향을 달성한다.
• 이 방법은 오염 비율을 성공적으로 추정하여, 샘플의 추정 밀도 값에 따라 순위를 매김으로써 이상치를 체계적으로 식별할 수 있다.
• 수치 실험 결과, 제안된 방법은 무거운 오염 조건 하에서 추정 정확도와 강건성 측면에서 기존 추정기보다 뛰어난 성능을 보였다.
• 추정기의 점근적 분산-공분산 행렬은 잘 행동하며, 잘 정의된 극한값으로 수렴하며, 크기가 $O(\bar{\varepsilon}^{1/2})$인 작은 편향 항을 포함한다.
• 독립 변수와 종속 변수 모두 무거운 오염을 겪는 경우에도 이 추정기는 양호한 성능을 유지하여 강력한 실용적 강건성을 보였다.
• 이 방법은 스코어링 규칙을 사용하는 단일 최적화 절차 내에서 파라미터 추정과 이상치 탐지 기능을 통합한 통합 프레임워크를 제공한다.