[논문 리뷰] The Cellwise Minimum Covariance Determinant Estimator

Jakob Raymaekers, Peter J. Rousseeuw|arXiv (Cornell University)|2022. 07. 27.

Advanced Statistical Methods and Models참고 문헌 36인용 수 4

한 줄 요약

이 논문은 관측된 우도와 지정된 셀와이즈 이상치에 대한 페널티를 조합하여 다변량 공분산 행렬에 대한 새로운 셀와이즈 강건 추정기인 cellMCD를 제안한다. 이는 집중 단계를 통해 반복적으로 목적 함수를 최소화하며, 높은 파손점과 유한 표본 효율성을 달성하여 전반적인 이상치가 있는 상황에서 셀와이즈 이상치에 대해 기존의 행단위 방법보다 뛰어난 성능을 발휘한다.

ABSTRACT

The usual Minimum Covariance Determinant (MCD) estimator of a covariance matrix is robust against casewise outliers. These are cases (that is, rows of the data matrix) that behave differently from the majority of cases, raising suspicion that they might belong to a different population. On the other hand, cellwise outliers are individual cells in the data matrix. When a row contains one or more outlying cells, the other cells in the same row still contain useful information that we wish to preserve. We propose a cellwise robust version of the MCD method, called cellMCD. Its main building blocks are observed likelihood and a penalty term on the number of flagged cellwise outliers. It possesses good breakdown properties. We construct a fast algorithm for cellMCD based on concentration steps (C-steps) that always lower the objective. The method performs well in simulations with cellwise outliers, and has high finite-sample efficiency on clean data. It is illustrated on real data with visualizations of the results.

연구 동기 및 목표

• 전통적인 행단위 강건 방법이 셀와이즈 이상치—개별적으로는 변동성이 크지 않지만 전체적으로 데이터를 오염시키는 요소—를 다루는 데에 한계가 있음을 해결한다.
• 혼합된 내재치와 이상치를 포함한 행에서 유용한 정보를 유지하면서도 행 전체를 삭제하지 않는 강건한 공분산 추정기를 개발한다.
• 우도 기반 추정과 이상치 수에 대한 페널티를 조합하여 높은 파손점과 유한 표본 효율성을 확보한다.
• 목적 함수가 단조롭게 감소하는 것을 보장하는 빠르고 수렴하는 알고리즘(집중 단계, C-step 기반)을 구축한다.
• 셀와이즈 이상치와 정상 데이터를 효율적으로 동시에 처리할 수 있는 통합된 강건 공분산 추정 프레임워크를 제공한다.

제안 방법

• 관측 로그우도와 셀와이즈 이상치로 표시된 수에 대한 페널티를 조합한 페널티 목적 함수를 최소화하는 셀와이즈 MCD 추정기(cellMCD)를 제안한다.
• 다변량 정규 분포를 가정한 우도 기반 접근 방식을 사용하여 데이터를 모델링하면서, 추정된 모델에서 크게 벗어나는 셀을 식별한다.
• 각 변수에 대해 이상치로 표시된 수를 제어하는 페널티 파라미터 $ q_j $ 를 도입하여 과적합을 방지하고 강건성을 확보한다.
• 위치와 산란 추정을 번갈아 갱신하는 C-step 알고리즘을 구현하여 목적 함수의 단조 감소를 보장한다.
• 일致한 추정기와 페널티 정규화를 통해 결과 공분산 행렬이 양의 준정부성(semidefinite)을 유지하도록 보장한다.
• 초기 추정기(예: DDCW)와 함께 방법을 통합하고, 다수의 시작점(W)과 EM 유사 반복(EM)을 사용하여 수렴성과 안정성을 향상시킨다.

실험 결과

연구 질문

• RQ1 전체 행을 삭제하지 않고도 개별적으로 이상치로 간주되지 않지만 셀와이즈 이상치로 작용하는 요소를 처리할 수 있는 강건한 공분산 추정기를 설계할 수 있는가?
• RQ2 우도와 이상치 페널티를 통합한 단일 목적 함수가 기존의 쌍별 또는 래핑된 추정기보다 더 뛰어난 성능을 낼 수 있는가?
• RQ3 목적 함수가 단조롭게 감소하고 높은 파손점을 확보하는 빠르고 수렴하는 알고리즘을 셀와이즈 MCD에 구축할 수 있는가?
• RQ4 기존의 MCD, DDCW, 페널티 없이 사용하는 cellMCD와 비교해보았을 때, cellMCD는 어떤가?
• RQ5 조정 파라미터 $ \varepsilon $ 와 $ \gamma $ 가 MSE와 Kullback-Leibler 발산 측면에서 추정기 성능에 어떤 영향을 미치는가?

주요 결과

• cellMCD는 높은 파손점을 확보하고 있으며, 높은 오염 수준(예: $ \varepsilon = 0.2 $)에서도 낮은 Kullback-Leibler 발산을 유지하여 DDCW와 페널티 없는 cellMCD를 능가한다.
• 표본 수 $ n = 800 $, 차원 수 $ d = 40 $, 오염 수준 $ \varepsilon = 0.2 $ 인 조건에서 $ \gamma = 10 $ 이고 10W+10EM 반복을 수행한 cellMCD는 KL 발산 108,819.65를 기록했으며, 이는 cellMCD_q0(108,819.46)와 DDCW(108,819.48)보다 유의미하게 낮아 우수한 강건성을 보여준다.
• 청정 데이터($ \varepsilon = 0 $) 조건에서는 cellMCD가 높은 유한 표본 효율성을 유지하며, $ d=20 $ 일 때 $ \widehat{\mu} $ 의 MSE는 0.00122, KL 발산은 2.184로 고전적 추정기와 유사한 성능을 보인다.
• C-step 알고리즘은 모든 테스트 설정(예: $ \varepsilon = 0.1 $, $ \gamma = 10 $, 10W+10EM)에서 목적 함수를 일관되게 감소시키며, 알고리즘의 안정성을 보장한다.
• A09 및 ALYZ 오염 모델을 사용한 시뮬레이션에서도 성능이 양호하며, 각 변수당 25%의 셀이 오염된 경우에도 영향력이 유한하고 강건함을 입증한다.
• 모르는 변동성이 없지만 셀와이즈 이상치로 간주되는 요소들이 효과적으로 탐지되고 처리되며, 복잡한 오염 패턴 속에서도 낮은 KL 발산을 유지함으로써 이의 효과적인 처리 능력을 입증한다.