[논문 리뷰] Riemannian optimization on the simplex of positive definite matrices

Bamdev Mishra, Hiroyuki Kasai외 1명|arXiv (Cornell University)|2019. 06. 25.

Topological and Geometric Data Analysis참고 문헌 13인용 수 4

한 줄 요약

이 논문은 대칭 양의 정부호 행렬에 대한 효율적 최적화를 가능하게 하는 행렬 단체 다양체(manifold)에 대한 리만 최적화 프레임워크를 제안한다. 제약 조건은 $\mathbf{X}_1 + \cdots + \mathbf{X}_K = \mathbf{I}$ 이며 $\mathbf{X}_i \succ 0$ 이다. 주요 기여는 메트릭, 탄성 공간 투영, 리만 기울기, 헤시안에 대한 닫힌 형태 표현을 갖춘 새로운 리만 기하학을 제공하며, 노이즈가 있는 추정치로부터 수직 부분공간을 성공적으로 복원함으로써 검증된다.

ABSTRACT

In this work, we generalize the probability simplex constraint to matrices, i.e., $\mathbf{X}_1 + \mathbf{X}_2 + \ldots + \mathbf{X}_K = \mathbf{I}$, where $\mathbf{X}_i \succeq 0$ is a symmetric positive semidefinite matrix of size $n imes n$ for all $i = \{1,\ldots,K \}$. By assuming positive definiteness of the matrices, we show that the constraint set arising from the matrix simplex has the structure of a smooth Riemannian submanifold. We discuss a novel Riemannian geometry for the matrix simplex manifold and show the derivation of first- and second-order optimization related ingredients.

연구 동기 및 목표

• 확률 단체 제약 조건을 대칭 양의 정부호 행렬로 일반화하기 위해 행렬 단체 제약 조건 $\sum_{i=1}^K \mathbf{X}_i = \mathbf{I}$, $\mathbf{X}_i \succ 0$ 을 도입한다.
• 엄격한 양의 정부호성 조건을 부여함으로써 행렬 단체에 부드러운 리만 부분다양체의 구조를 확립한다.
• 리만 최적화 알고리즘에 사용할 수 있는 일阶 및 이阶 최적화 도구—리만 기울기, 헤시안, 탄성 공간 투영—을 유도한다.
• 노이즈가 있는 행렬 추정치로부터 상호 수직 부분공간을 복원하는 데에 프레임워크의 유효성을 입증한다.

제안 방법

• 행렬 단체 다각형 $\mathcal{M}_n^K$ 을 정의한다. 이는 합이 항등행렬이 되는 $K$개의 대칭 양의 정부호 $n \times n$ 행렬의 $K$-튜플의 집합이다.
• 각 행렬의 역행렬 기반으로 이중 불변 리만 메트릭을 도입한다: $g_x(\xi, \eta) = \sum_i \mathrm{trace}(\mathbf{X}_i^{-1} \xi_{\mathbf{X}_i} \mathbf{X}_i^{-1} \eta_{\mathbf{X}_i})$.
• 점 $x \in \mathcal{M}_n^K$ 에서의 탄성 공간을 정의한다. 이는 합이 영행렬이 되는 $K$개의 대칭 행렬의 튜플로 이루어진다: $\xi_{\mathbf{X}_1} + \cdots + \xi_{\mathbf{X}_K} = \mathbf{0}$.
• 환경 벡터를 탄성 공간으로 투영하는 닫힌 형태의 투영 연산자를 개발하며, 계산 비용은 $K$에 대해 선형이다.
• 메트릭과 투영 연산자를 사용하여 유클리드 기울기와 헤시안으로부터 리만 기울기와 헤시안을 구성한다.
• 프레임워크를 허미션저 경우와 일반 양의 정부호 행렬 $\mathbf{M}$ 의 분해를 위한 변수 변환을 통해 확장한다.

실험 결과

연구 질문

• RQ1 엄격한 양의 정부호성 조건을 유지하면서 확률 단체 제약 조건을 대칭 양의 정부호 행렬로 일반화할 수 있는 방법은 무엇인가?
• RQ2 엄격한 양의 정부호성 조건 하에서 행렬 단체 다각형에 적절한 리만 메트릭과 탄성 공간 기하학적 구조는 무엇인가?
• RQ3 이 다각형에서 일阶 및 이阶 최적화 도구(기울기, 헤시안, 투영)를 닫힌 형태로 어떻게 도출할 수 있는가?
• RQ4 제안된 리만 프레임워크는 노이즈가 있는 행렬 추정치로부터 상호 수직 부분공간을 효과적으로 복원할 수 있는가?
• RQ5 최적화 성능을 저하시키지 않고 대규모 시나리오에서 계산 비용을 어떻게 줄일 수 있는가?

주요 결과

• 엄격한 양의 정부호성 조건을 부여할 경우, 행렬 단체 다각형 $\mathcal{M}_n^K$ 은 대칭 양의 정부호 행렬의 곱공간의 부드러운 리만 부분다양체를 이룬다.
• 리만 메트릭은 $\mathbb{SPD}_n$ 에서의 이중 불변 메트릭에서 유도되어 기하학적 일관성을 확보하며 효율적 최적화를 가능하게 한다.
• 탄성 공간 투영 연산자는 $O(K)$ 시간에 계산되며, 리만 기울기와 헤시안은 메트릭과 투영 연산자를 사용하여 유도되어 일阶 및 이阶 최적화를 가능하게 한다.
• 실험에서 $n=100$, $K=3$ 일 때 트러스트 영역 알고리즘이 상호 수직 오차를 $10^{-6}$ 이하로 유지하여 수직 부분공간의 거의 완벽한 복원을 보였다.
• 프레임워크는 허미션저 경우와 일반 양의 정부호 행렬 $\mathbf{M}$ 의 분해로 확장 가능하며, 변수 변환을 통해 이루어진다.
• 대규모 문제에서는 $\mathbf{X}_i = \mathbf{U} \mathbf{B}_i \mathbf{U}^\top$ 를 통한 낮은 랭크 근사로 계산 비용을 $O(nr^2 + r^3K)$ 으로 줄일 수 있으며, $r \ll n$ 일 때 확장성이 보장된다.