[논문 리뷰] Robust Model Order Selection in Large Dimensional Elliptically Symmetric Noise

Eugénie Terreaux, Jean‐Philippe Ovarlez외 1명|arXiv (Cornell University)|2017. 10. 18.

Advanced Statistical Methods and Models참고 문헌 35인용 수 10

한 줄 요약

이 논문은 상관관계가 있고 비정규적인 복소 타원형 대칭(CES) 잡음에 의해 오염된 고차원 신호에 대해 강건한 모형 차수 선택 방법을 제안한다. 잡음의 백색화를 위해 토플리츠 구조 산란 행렬 추정을 사용하고, 백색화된 데이터에 마론나 M-추정법을 적용하여 대규모 랜덤 행렬 이론을 통해 일致된 공분산 추정과 정확한 신호 부분공간의 질서 감지가 가능해지며, 시뮬레이션 및 실제 고분광 이미지에서 최신 기법들보다 뚜렷이 뛰어난 성능을 보인다.

ABSTRACT

This paper deals with model order selection in context of correlated noise. More precisely, one considers sources embedded in an additive Complex Elliptically Symmetric (CES) noise, with unknown parameters. The main difficultly for estimating the model order lies into the noise correlation, namely the scatter matrix of the corresponding CES distribution. In this work, to tackle that problem, one adopts a two-step approach: first, we develop two different methods based on a Toeplitz-structured model for estimating this unknown scatter matrix and for whitening the correlated noise. Then, we apply Maronna's $M$-estimators on the whitened signal to estimate the covariance matrix of the "decorrelated" signal in order to estimate the model order. The proposed methodology is based both on robust estimation theory as well as large Random Matrix Theory, and original results are derived, proving the efficiency of this methodology. Indeed, the main theoretical contribution is to derive consistent robust estimators for the covariance matrix of the signal-plus-correlated noise in a large dimensional regime and to propose efficient methodology to estimate the rank of signal subspace. Finally, as shown in the analysis, these results show a great improvement compared to the state-of-the-art, on both simulated and real hyperspectral images.

연구 동기 및 목표

• 잡음이 상관관계가 있고 비정규적이며 특히 복소 타원형 대칭(CES) 분포를 따를 때 고차원 신호 처리에서 모형 차수 선택 문제를 해결하기 위해.
• 기존의 정보 기준(예: AIC, MDL)과 표준 공분산 추정법이 고차원, 상관관계가 있는 비정규적 환경에서 실패하는 문제를 해결하기 위해.
• 토플리츠 구조 산란 행렬 추정을 통한 백색화와 마론나 M-추정법을 이용한 강건한 공분산 추정을 조합하여 신호 부분공간의 질서를 일관되고 강건하게 추정하기 위해.
• 대규모 랜덤 행렬 이론(RMT)을 사용하여 대규모 차원 점점 증가하는 점근적 설정 하에서 제안된 방법론의 이론적 일관성을 확립하기 위해.
• 상관관계가 있는 CES 잡음이 존재하는 시뮬레이션 데이터와 실제 고분광 이미지에서 기존 기법들보다 향상된 성능을 보여주기 위해.

제안 방법

• 고차원에서의 안정성과 일관성을 향상시키기 위해 토플리츠 구조를 강제 적용한 토플리츠 구조 산란 행렬 추정을 통해 CES 잡음의 알려지지 않은 산란 행렬을 추정한다.
• 비정규성 하에서 강건성과 수렴성을 향상시키기 위해 반복 개선 기법을 활용하는 고정점(FP) 추정법을 SCM의 대안으로 적용한다.
• 추정된 토플리츠 산란 행렬을 사용해 관측된 신호를 백색화하여 잡음을 비상관화하고, 이후 강건한 공분산 추정을 가능하게 한다.
• 백색화된 데이터에 마론나 M-추정법을 적용하여 신호+잡음의 공분산 행렬을 강건하게 추정하며, 마할라노비스 거리 기반 가중치를 할당하여 이방성(outliers)의 영향을 감소시킨다.
• 강건하게 추정된 공분산 행렬의 고유값 분포를 기반으로 대규모 랜덤 행렬 이론에서 유도된 임계값 규칙을 통해 신호 부분공간의 질서를 결정한다.
• 이론적 분석과 점근적 일관성 증명(거의 확실 수렴)을 통해 대규모 차원 설정(N, m → ∞ 이면서 m/N → c > 0) 하에서 제안된 추정법의 강건성과 정확성을 검증한다.

실험 결과

연구 질문

• RQ1 상관관계가 있고 비정규적인 CES 잡음 하에서 고차원 환경에서 토플리츠 구조 산란 행렬 추정과 강건한 M-추정법을 조합한 이중 단계 접근법이 일관된 모형 차수 선택을 달성할 수 있는가?
• RQ2 잡음이 상관관계가 있고 비정규적일 경우, 제안된 방법이 기존의 정보 기준(예: AIC, MDL)과 표준 공분산 추정법에 비해 정확성과 강건성 측면에서 어떻게 성능을 냈는가?
• RQ3 대규모 랜덤 행렬 점근적 설정 하에서 제안된 강건한 공분산 추정법의 이론적 일관성은 무엇이며, 진정한 신호 공분산 구조로 거의 확실하게 수렴하는가?
• RQ4 진정한 산란 행렬이 토플리츠 구조를 가질 경우, 토플리츠 구조 산란 행렬을 사용한 백색화가 표준 백색화에 비해 성능 향상에 얼마나 기여하는가?
• RQ5 실제 응용 사례인 고분광 영상에서 복잡하고 상관관계가 있는 잡음 환경에서도 제안된 방법이 높은 정확도를 유지하는가?

주요 결과

• 대규모 차원 점근적 설정 하에서 추정된 산란 행렬이 진정한 값으로 거의 확실하게 수렴함을 증명한 정리 1 및 정리 2에 의해 입증된다.
• 백색화된 데이터에 적용된 강건한 마론나 M-추정법은 신호 공분산 행렬의 일관된 추정법을 제공하며, 추정된 공분산과 진정한 공분산 간의 차이가 거의 확실하게 0으로 수렴한다.
• 산란 행렬 추정에 토플리츠 구조를 가진 추정법(SCM 및 FP)을 사용할 경우, 상관관계가 있는 잡음 환경에서 제약 조건이 없는 추정법에 비해 추정 정확도와 안정성이 크게 향상된다.
• 이 방법은 시뮬레이션 데이터와 실제 고분광 이미지 모두에서 모형 차수 선택에서 최신 기법들을 능가하는 정확성과 강건성을 보여준다.
• 이론적 분석을 통해 강건하게 추정된 공분산 행렬에 적용된 고유값 임계값 규칙이 대규모 차원 설정 하에서 높은 확률로 신호 부분공간의 질서를 정확히 식별함을 확인하였다.
• 추론의 전 과정—산란 행렬 추정에서부터 모형 차수 탐지까지의 일관성은 부록의 증명들을 통해 철저히 입증되었으며, 이는 토플리츠화된 추정법과 최종 강건한 공분산 추정법의 수렴성을 포함한다.