[논문 리뷰] Maximum Likelihood for Matrices with Rank Constraints

Jonathan D. Hauenstein, Jose Israel Rodriguez외 1명|arXiv (Cornell University)|2012. 09. 30.

Bayesian Methods and Mixture Models인용 수 4

한 줄 요약

이 논문은 랭크가 제한된 행렬의 결정성 다양체 위에서 우도 함수의 모든 임계점을 계산하기 위한 수치 대수기하 방법을 개발한다. 이를 통해 신뢰할 수 있는 전역 최대우도 추정이 가능해진다. 주요 기여는 랭크 제약이 있는 행렬에 대한 최대우도 차수의 정확한 계산으로, 보완되는 랭크 간의 이중성과 장기간 미해결이었던 대수통계 분야의 열린 문제들을 해결한다.

ABSTRACT

Maximum likelihood estimation is a fundamental optimization problem in statistics. We study this problem on manifolds of matrices with bounded rank. These represent mixtures of distributions of two independent discrete random variables. We determine the maximum likelihood degree for a range of determinantal varieties, and we apply numerical algebraic geometry to compute all critical points of their likelihood functions. This led to the discovery of maximum likelihood duality between matrices of complementary ranks, a result proved subsequently by Draisma and Rodriguez.

연구 동기 및 목표

• 제한된 랭크를 가진 행렬의 결정성 다양체 위에서 독립적인 이산 랜덤 변수의 통합 모델을 나타내는 우도 함수의 모든 임계점을 계산하는 것.
• 낮은 랭크 행렬 모델에서 최대우도 추정(MLE)의 다중 국소 최대값 문제를 다루며, 전역 최적성의 확인이 어려운 상황을 해결하는 것.
• m×n 행렬에서 랭크 ≤ r인 결정성 다양체의 최대우도 차수(ML degree)를 계산하는 것. 특히 기호 계산의 한계를 초월한 경우를 포함한다.
• 랭크 r과 m−r+1의 랭크를 가진 행렬 간의 ML 차수 간 이중성 관계를 수립하고 검증하는 것.
• 낮은 랭크 행렬 모델에서 우도 함수의 모든 국소 최대값을 신뢰성 있게 식별할 수 있는 계산 프레임워크를 제공하는 것. 이를 통해 전역 최적화가 가능해진다.

제안 방법

• 랭크-r 행렬의 인수분해 P = AB^T를 활용하는 새로운 매개변수화를 통해 랭크 제약이 있는 행렬에서 MLE 문제를 다항방정식의 정사각형 시스템으로 공식화한다.
• 해석적 기하 기법, 특히 호모토피 연속법과 수치적 기약 분해를 적용하여 결정성 다양체 위에서 우도 함수의 모든 복소수 임계점을 계산한다.
• 랭크 제약 조건 하에서 로그우도 함수의 라그랑지안에서 유도된 우도 방정식을 활용하며, A와 B의 성분들에 대한 다항방정식 시스템을 도출한다.
• 결과의 검증을 위해 EM 알고리즘을 수치적 기준으로 활용하며, 수렴 결과를 계산된 임계점과 비교하고 경계 해를 식별한다.
• 우도 방정식 내의 대칭성과 이중성 구조를 활용하여 계산 복잡도를 감소시키고, 보완 랭크 이중성에 대한 추측을 검증한다.
• 기존의 알려진 사례와의 비교를 통해 결과를 검증하고, 고정밀 수치 해법기를 사용하여 다양한 (m,n,r) 구성에서 임계점의 정확한 개수를 확인한다.

실험 결과

연구 질문

• RQ1 m×n 행렬의 랭크 ≤ r 다양체 위에서 우도 함수의 정확한 임계점 수(즉, ML 차수)는 얼마인가?
• RQ2 m≤n일 때, 랭크 r과 랭크 m−r+1을 가진 행렬 간에 ML 차수 간의 이중성이 존재하는가?
• RQ3 기호 계산의 한계를 초월하는 고차원, 저랭크 행렬 모델에서 수치 대수기하 기법이 우도 함수의 모든 임계점을 신뢰성 있게 계산할 수 있는가?
• RQ4 EM 알고리즘과 수치 연속법은 랭크 제약이 있는 MLE 문제에서 국소 최대값을 식별하는 데 어떻게 비교되는가?
• RQ5 우도 함수의 임계점들이 매개변수 공간의 내부에 있는 정도는 어느 정도이며, 언제 경계에 위치하는가?

주요 결과

• 4×4 행렬의 랭크 ≤2에 대해 ML 차수는 191이며, 이는 이전에 기호 계산으로 접근할 수 없었던 장기 미해결 문제를 해결한 것이다.
• 5×5 행렬의 랭크 ≤3에 대해 ML 차수는 61326이며, 랭크 ≤2일 경우 3119로, 이 크기 클래스에서 처음으로 비자명한 값이 확인되었다.
• 4×6 행렬의 랭크 ≤3에 대해 ML 차수는 3119이며, 5×5 행렬의 랭크 ≤4일 경우 6776로, 보완 랭크 간의 대칭성을 입증한다.
• 논문은 드라이나와 로드리게스가 나중에 증명한 바와 같이, 랭크 r과 m−r+1에 대한 ML 차수 간의 이중성 관계를 명시적인 값 계산을 통해 확인한다.
• 4×5 행렬의 랭크 ≤3에 대해, EM 알고리즘을 10,000회 실행한 결과 10개의 국소 최대값을 발견하였으며, 그 중 8개는 수치 대수기하 기법으로 계산된 8개의 임계점으로 확인되었다.
• EM 알고리즘에 의해 추가로 발견된 두 개의 국소 최대값은 매개변수 공간의 경계에 위치해 있으며, 우도 방정식을 만족하지 않아 내부의 임계점이 아니라는 점을 시사한다.