[논문 리뷰] Geodesic Convexity and Regularized Scatter Estimators

Lutz Duembgen, David E. Tyler|arXiv (Cornell University)|2016. 07. 19.

Morphological variations and asymmetry참고 문헌 18인용 수 10

한 줄 요약

이 논문은 다변량 산란 추정을 위한 엄밀한 리만 기하학적 프레임워크를 수립하여, 존재성과 유일성을 보장하기 위해 지오데식 볼록성과 강제성 조건을 도입한다. 지오데식 테일러 전개를 활용한 부분 뉴턴 알고리즘을 개발하고, 항정규화 함수가 항등행렬 또는 항등행렬의 배수로 수렴할 경우 지오데식 볼록한 정규화된 M-추정량을 얻을 수 있음을 증명하며, 최적의 조정을 위해 교차검증을 제안한다.

ABSTRACT

As observed by Auderset et al. (2005) and Wiesel (2012), viewing covariance matrices as elements of a Riemannian manifold and using the concept of geodesic convexity provide useful tools for studying M-estimators of multivariate scatter. In this paper, we begin with a mathematically rigorous self-contained overview of Riemannian geometry on the space of symmetric positive definite matrices and of the notion of geodesic convexity. The overview contains both a review as well as new results. In particular, we introduce and utilize first and second order Taylor expansions with respect to geodesic parametrizations. This enables us to give sufficient conditions for a function to be geodesically convex. In addition, we introduce the concept of geodesic coercivity, which is important in establishing the existence of a minimum to a geodesic convex function. We also develop a general partial Newton algorithm for minimizing smooth and strictly geodesically convex functions. We then use these results to generate a fairly complete picture of the existence, uniqueness and computation of regularized M-estimators of scatter defined using additive geodescially convex penalty terms. Various such penalties are demonstrated which shrink an estimator towards the identity matrix or multiples of the identity matrix. Finally, we propose a cross-validation method for choosing the scaling parameter for the penalty function, and illustrate our results using a numerical example.

연구 동기 및 목표

• 고차원 및 희박한 데이터 설정에서 다변량 산란 행렬의 정규화된 M-추정량에 대한 이론적 보장의 부족을 해결한다.
• 대칭 양의 정부호 행렬의 다양체 위에서 지오데식 볼록성에 대한 수학적으로 엄밀한 기초를 제공한다.
• 지오데식 볼록성과 강제성 조건을 통해 정규화된 M-추정량의 존재성과 유일성을 보장하는 충분조건을 설정한다.
• 매트릭스 다양체 위에서 부드럽고 엄밀히 지오데식 볼록 함수를 최소화하기 위한 일반적인 부분 뉴턴 알고리즘을 개발한다.
• 정규화된 산란 추정량에서 펜alty 스케일링 파라미터를 선택하기 위한 교차검증 방법을 제안한다.

제안 방법

• 행렬 로그 및 지수 사상 함수를 활용하여 대칭 양의 정부호 행렬 공간 위에서 리만 기하학을 체계화한다.
• 지오데식 매개변수화에 따른 일차 및 이차 테일러 전개를 도입하여 지오데식 볼록성을 위한 충분조건을 유도한다.
• 지오데식 강제성 조건을 정의하여 지오데식 볼록 함수의 최소화자 존재성을 보장하는 핵심 조건으로 삼는다.
• 매트릭스 다양체 위에서 부드럽고 엄밀히 지오데식 볼록 함수를 최소화하기 위한 일반적인 부분 뉴턴 알고리즘을 구축한다.
• 로그리스크 유형의 목적함수와 추가적인 지오데식 볼록 페널티 항을 조합하여 정규화된 M-추정량에 적용한다. 이 페널티 항은 항등행렬 또는 스케일된 항등행렬로의 수렴을 선호한다.
• 예측 오차를 최소화하는 데 기반하여 페널티 스케일링 파라미터를 선택하기 위한 교차검증 절차를 구현한다.

실험 결과

연구 질문

• RQ1 정규화된 M-추정량의 산란 행렬이 존재하고 유일하기 위한 조건은 무엇인가?
• RQ2 대칭 양의 정부호 행렬 공간에서 어떤 페널티 함수들이 지오데식 볼록성을 띠며 항등행렬로의 수렴을 촉진하는가?
• RQ3 지오데식 볼록 함수를 리만 다양체 위에서 최소화하기 위해 뉴턴 유사 알고리즘을 어떻게 적응시킬 수 있는가?
• RQ4 지오데식 강제성이 정규화된 산란 추정량의 최소화자 존재성 보장에 어떤 역할을 하는가?
• RQ5 지오데식 볼록 프레임워크 내에서 교차검증을 통해 페널티 스케일링 파라미터를 최적으로 선택하는 방법은 무엇인가?

주요 결과

• 지오데식 볼록성과 강제성 조건이 함께 존재할 경우, 정규화된 산란 M-추정량의 최소화자 존재성과 유일성이 보장된다.
• 항등행렬 또는 항등행렬의 배수로 수렴하는 페널티 함수는 온건한 조건 하에서 지오데식 볼록성을 띤다.
• 제안된 부분 뉴턴 알고리즘은 국소 수렴성을 보이며, 부드러움과 엄밀한 지오데식 볼록성 조건 하에서 초선형 수렴성을 나타낸다.
• 알고리즘의 수렴성은 일차 및 이차 지오데식 테일러 전개에 의해 뒷받침되며, 최소화점 근처에서 함수의 행동을 제한하는 근거를 제공한다.
• 교차검증은 페널티 스케일링 파라미터 선택에 실용적인 방법으로 밝혀졌으며, 수치 결과는 안정적인 성능을 보였다.
• 최소화점 근처에서 알고리즘의 업데이트 단계의 극한은 내림차순을 보장하며, 이는 극한에서 함수 차이의 음의 상한으로서 입증되었다.