[논문 리뷰] Robustness of Maximum Correntropy Estimation Against Large Outliers

Badong Chen, Lei Xing외 3명|arXiv (Cornell University)|2017. 03. 23.

Advanced Adaptive Filtering Techniques참고 문헌 11인용 수 6

한 줄 요약

이 논문은 임의로 큰 이상치가 존재하는 선형 오차-변수 모델에서 최대 상관성 기준(MCC) 추정의 강건성을 분석한다. 추정 오차에 대한 상한을 유도하여, MCC 추정치가 심각한 입력 및 출력 이상치가 존재하는 상황에서도 진짜 매개변수에 매우 가까이 유지됨을 보여주며, MSE, LAD, TLS 방법보다 스칼라 및 다차원 경우 모두에서 뛰어난 성능을 보인다.

ABSTRACT

The maximum correntropy criterion (MCC) has recently been successfully applied in robust regression, classification and adaptive filtering, where the correntropy is maximized instead of minimizing the well-known mean square error (MSE) to improve the robustness with respect to outliers (or impulsive noises). Considerable efforts have been devoted to develop various robust adaptive algorithms under MCC, but so far little insight has been gained as to how the optimal solution will be affected by outliers. In this work, we study this problem in the context of parameter estimation for a simple linear errors-in-variables (EIV) model where all variables are scalar. Under certain conditions, we derive an upper bound on the absolute value of the estimation error and show that the optimal solution under MCC can be very close to the true value of the unknown parameter even with outliers (whose values can be arbitrarily large) in both input and output variables. Illustrative examples are presented to verify and clarify the theory.

연구 동기 및 목표

• 최대 상관성 기준(MCC) 하에서 큰 이상치가 최적 해에 미치는 영향를 이해하는 것.
• 입력 및 출력 노이즈가 존재하는 단순 스칼라 선형 오차-변수(EIV) 모델에서 MCC의 강건성 분석.
• MCC 하에서 절대 추정 오차에 대한 상한을 유도하여, 임의로 큰 이상치가 존재하는 상황에서도 추정치가 진짜 매개변수에 가까이 유지됨을 보장하는 것.
• 도식적 예제와 몬테카를로 시뮬레이션을 통해 이론적 결과를 검증하는 것.
• 다차원 동적 시스템으로의 통찰 확장하여, 복잡한 환경에서 MCC의 잠재적 강건성 제안.

제안 방법

• 입력 및 출력이 노이즈에 의해 훼손되는 스칼라 선형 EIV 모델을 수립하며, 추정할 진짜 매개변수 $ w_0 $ 를 설정한다.
• 오차 $ e = d - y $ 를 기반으로 기대 상관성 $ \mathbb{E}[\exp(-e^2/(2\sigma^2))] $ 를 최대화하는 최대 상관성 기준(MCC)을 적용한다.
• 노이즈 특성과 커널 대역폭 $ \sigma $ 에 따라 의존하는 절대 추정 오차 $ |w_{MCC} - w_0| $ 에 대한 상한 $ \xi $ 를 유도한다.
• 노이즈 분포에 대한 가정(예: 유한한 모멘트)을 도입하여 유도된 오차 한계의 타당성을 확보한다.
• 다양한 이상치 진폭과 발생 확률을 가진 몬테카를로 시뮬레이션을 수행하여, MCC를 MSE, LAD, TLS 추정기와 비교한다.
• 9탭 FIR 시스템으로의 분석을 확장하여, 다차원 동적 환경에서의 MCC 강건성 테스트를 수행한다.

실험 결과

연구 질문

• RQ1 입력 및 출력 변수에 임의로 큰 이상치가 존재할 경우, 최대 상관성 기준(MCC) 하에서 최적 해에 어떤 영향을 미치는가?
• RQ2 스칼라 EIV 모델에서 MCC 하에서 추정 오차에 대해 이론적으로 도출할 수 있는 상한은 무엇인가?
• RQ3 다양한 이상치 진폭과 발생 확률 하에서 MCC 성능은 MSE, LAD, TLS와 어떻게 비교되는가?
• RQ4 입력 및 출력 이상치가 존재하는 다차원 동적 시스템에서 MCC는 강건성을 유지할 수 있는가?
• RQ5 커널 대역폭 $ \sigma $ 는 MCC 추정에서 강건성과 정확성 간의 트레이드오프에 어떤 영향을 미치는가?

주요 결과

• 입력 및 출력 이상치의 진폭이 임의로 클 경우에도 최적의 MCC 추정치 $ w_{MCC} $ 는 여전히 $ w_0 \pm \xi $ 내에 유지된다.
• 유도된 상한 $ \xi $ 와 비교할 때 추정 오차 $ |w_{MCC} - w_0| $ 는 매우 작으며, 이는 강력한 강건성을 시사한다.
• MSE, LAD, TLS 해는 이상치에 매우 민감하여 일반적으로 $ w_0 \pm \xi $ 영역을 크게 벗어나는 경향이 있다.
• 이상치 발생 확률 $ \alpha $ 가 작을 때는 MCC가 거의 편향 없이 유지되나, $ \alpha $ 가 임계값을 초과하면 성능이 급격히 악화된다.
• 커널 대역폭 $ \sigma $ 가 증가함에 따라 MCC 해는 MSE 해에 수렴하며, 이는 더 작은 $ \sigma $ 가 큰 이상치에 대한 강건성을 향상시킨다는 것을 확인한다.
• 다차원 FIR 시스템에서는 입력 및 출력 이상치가 존재할 경우, MCC는 MSE, LAD, TLS보다 훨씬 작은 제곱 가중치 오차 노름을 달성한다.