[논문 리뷰] Simultaneous penalized M-estimation of covariance matrices using geodesically convex optimization

Esa Ollila, Ilya Soloveychik외 2명|arXiv (Cornell University)|2016. 08. 29.

Advanced Statistical Methods and Models참고 문헌 28인용 수 23

한 줄 요약

이 논문은 다수의 공통 중심에 가까운 K개의 공분산 행렬을 동시에 추정하기 위한 두 가지 지오데식 볼록 페널티 M-추정 방법을 제안한다. 지오데식 볼록성의 특성을 활용하여, 유클리드 거리, 리만 다성분 거리, 쿨백-라이블러 거리 기반 페널티를 사용함으로써 유일하고 강력한 해를 보장한다. 정규화된 판별 분석에의 적용 사례에서 기존 방법에 비해 향상된 성능을 보였다.

ABSTRACT

A common assumption when sampling $p$-dimensional observations from $K$ distinct group is the equality of the covariance matrices. In this paper, we propose two penalized $M$-estimation approaches for the estimation of the covariance or scatter matrices under the broader assumption that they may simply be close to each other, and hence roughly deviate from some positive definite "center". The first approach begins by generating a pooled $M$-estimator of scatter based on all the data, followed by a penalised $M$-estimator of scatter for each group, with the penalty term chosen so that the individual scatter matrices are shrunk towards the pooled scatter matrix. In the second approach, we minimize the sum of the individual group $M$-estimation cost functions together with an additive joint penalty term which enforces some similarity between the individual scatter estimators, i.e. shrinkage towards a mutual center. In both approaches, we utilize the concept of geodesic convexity to prove the existence and uniqueness of the penalized solution under general conditions. We consider three specific penalty functions based on the Euclidean, the Riemannian, and the Kullback-Leibler distances. In the second approach, the distance based penalties are shown to lead to estimators of the mutual center that are related to the arithmetic, the Riemannian and the harmonic means of positive definite matrices, respectively. A penalty based on an ellipticity measure is also considered which is particularly useful for shape matrix estimators. Fixed point equations are derived for each penalty function and the benefits of the estimators are illustrated in regularized discriminant analysis problem.

연구 동기 및 목표

• 표본 크기가 차원 수에 비해 작을 때 다수의 고차원 공분산 행렬을 추정하는 데 도전하는 문제를 해결한다.
• 군집 공분산 행렬이 동일하지는 않지만 유사하다는 사전 지식을 반영하여, 이를 공통 중심으로 수축시킴으로써 그들의 유사성을 통합한다.
• 외곽값과 무거운 尾(꼬리) 분포에 강건한 추정 방법을 개발하여 정규 분포 가정을 초월한다.
• 양의 정부호 행렬의 다양체 위에서 지오데식 볼록성(geodesic convexity)을 활용하여 페널티 M-추정자의 존재성과 유일성을 보장한다.
• 기존의 표본 공분산 행렬을 대체하여 강건하고 수축 기반의 추정자로 정규화된 판별 분석을 확장한다.

제안 방법

• 두 단계 접근법을 제안: 먼저 모든 데이터에서 풀드 M-추정자 계산 후, 개별 군집 M-추정자를 이에 지오데식 볼록 페널티로 수축시킴.
• 개별 M-추정 손실 함수의 합과 군집 산란 행렬 간 유사성을 강제하는 공동 페널티를 최소화하는 공동 최적화 프레임워크 도입.
• 양의 정부호 행렬의 리만 다양체 위에서 지오데식 볼록성(g-convexity)을 활용하여 최적화 문제의 볼록성을 보장함.
• 세 가지 페널티 함수를 활용: 유클리드 거리, 리만 거리, 쿨백-라이블러 거리로 각각 산술 평균, 기하 평균, 조화 평균에 해당하는 행렬 평균을 도출.
• 각 페널티 유형에 대해 고정점 반복 알고리즘 유도하여 페널티 추정자의 수치적 계산 가능하게 함.
• 타원도 측도 기반 추가 페널티 고려 — 특히 강건 통계에서 형태 행렬 추정에 유용함.

실험 결과

연구 질문

• RQ1 유일성과 안정성이 보장되는 조건에서 다수의 공분산 행렬을 동시에 강건하게 M-추정할 수 있는가?
• RQ2 양의 정부호 다양체 위에서 지오데식 볼록성을 어떻게 활용하여 비볼록 M-추정 문제를 볼록 문제로 전환할 수 있는가?
• RQ3 개별 군집 산란 행렬을 공통 중심으로 수축시키는 페널티 M-추정자의 통계적 및 계산적 성질은 무엇인가?
• RQ4 유클리드 거리, 리만 거리, KL 거리 기반 페널티가 서로 다른 추정자에 영향을 미치고, 이를 행렬 평균으로서 어떻게 해석할 수 있는가?
• RQ5 제안된 강건한 수축 추정자가 기존 방법에 비해 정규화된 판별 분석에서 성능을 얼마나 향상시키는가?

주요 결과

• 지오데식 볼록성 덕분에 일반 조건 하에서 제안된 페널티 M-추정 방법은 해의 존재성과 유일성을 보장한다.
• 쿨백-라이블러 발산 기반 페널티는 양의 정부호 행렬들의 조화 평균에 해당하는 해를 도출한다.
• 리만 거리 페널티는 산란 행렬의 기하 평균(리만 평균)을 도출하며, 이는 공분산 추정에서 잘 알려진 안정성과 우수한 성능을 보인다.
• 유클리드 거리 페널티는 행렬들의 산술 평균과 동치인 해를 도출하며, 계산은 단순하지만 일부 설정에서는 덜 강건하다.
• 각 페널티 유형에 대해 유도된 고정점 알고리즘은 고유 최소화점을 수렴하여 실용적 구현 가능하게 한다.
• 정규화된 판별 분석에서의 실증 결과는 기존 정규화된 판별 분석 대비 분류 정확도 향상과 강건성 향상을 보였으며, 비정규 분포 및 중간 꼬리 분포 데이터에서 특히 두드러졌다.