[논문 리뷰] Approximate Joint Matrix Triangularization

Nicolò Colombo, Nikos Vlassis|arXiv (Cornell University)|2016. 07. 02.

Tensor decomposition and applications인용 수 4

한 줄 요약

이 논문은 노이즈가 첨가된 공동으로 대각화 가능한 행렬에 대한 근사적인 동시 행렬 상삼각화의 이론적 프레임워크를 제안하며, 근사적 및 정확한 상삼각화자 간의 거리에 대한 사전 및 사후 편차 한계를 제공한다. 낮은 노이즈 조건 하에서 국소 최적화 알고리즘의 전역 수렴 보장을 수립하고, 캐논리컬 텐서 분해에 대한 새로운 오차 한계를 유도한다.

ABSTRACT

We consider the problem of approximate joint triangularization of a set of noisy jointly diagonalizable real matrices. Approximate joint triangularizers are commonly used in the estimation of the joint eigenstructure of a set of matrices, with applications in signal processing, linear algebra, and tensor decomposition. By assuming the input matrices to be perturbations of noise-free, simultaneously diagonalizable ground-truth matrices, the approximate joint triangularizers are expected to be perturbations of the exact joint triangularizers of the ground-truth matrices. We provide a priori and a posteriori perturbation bounds on the `distance' between an approximate joint triangularizer and its exact counterpart. The a priori bounds are theoretical inequalities that involve functions of the ground-truth matrices and noise matrices, whereas the a posteriori bounds are given in terms of observable quantities that can be computed from the input matrices. From a practical perspective, the problem of finding the best approximate joint triangularizer of a set of noisy matrices amounts to solving a nonconvex optimization problem. We show that, under a condition on the noise level of the input matrices, it is possible to find a good initial triangularizer such that the solution obtained by any local descent-type algorithm has certain global guarantees. Finally, we discuss the application of approximate joint matrix triangularization to canonical tensor decomposition and we derive novel estimation error bounds.

연구 동기 및 목표

• 정확한 상삼각화가 편향으로 인해 불가능한 노이즈가 첨가된 공동으로 대각화 가능한 행렬의 공동 고유구조 추정 문제를 다루기 위해.
• 사전 및 사후 편차 한계를 유도하여 근사적 동시 상삼각화자의 정확도에 대한 이론적 보장을 제공하기 위해.
• 낮은 노이즈 수준 하에서, 진짜 해 근처에 초기화된 임의의 국소 강하 알고리즘이 전역 수렴 보장을 달성할 수 있음을 보여주기 위해.
• 이 프레임워크를 캐논리컬 텐서 분해에 적용하고, 새로운 추정 오차 한계를 도출하기 위해.

제안 방법

• 근사적인 동시 상삼각화 문제를 일반선형군 O(d) 위에서의 비볼록 최적화 문제로 공식화하며, 변환된 행렬들의 엄격한 하삼각부분의 프로베니우스 노름 제곱합을 최소화한다.
• 행렬 지수 매개변수화를 사용하여 임의의 근사 상삼각화자 U를 정확한 상삼각화자 U₀에 대한 편향으로 표현한다: U = U₀e^{αX}, 여기서 X는 반대칭이고 α는 거리의 척도이다.
• 기본 진짜 행렬과 노이즈 성질을 사용하여 α에 대한 사전 한계를 유도하고, 입력 행렬의 관측 가능한 양들만을 사용하여 사후 한계를 유도한다.
• 목적 함수의 헤시안을 분석하여 곡률를 제한하고, 국소 최적화가 전역적으로 정확한 해를 얻을 수 있는 조건을 도출한다.
• 편차 이론을 응용하여 캐논리컬 다항식 텐서 분해에 대한 오차 한계를 도출하며, 행렬 상삼각화와 텐서 추정 간의 연결 고리를 제공한다.
• 트레이스와 프로베니우스 노름 부등식을 활용하여 헤시안의 교차항을 제한하고, 편차 영향에 대한 날카운 상한을 도출한다.

실험 결과

연구 질문

• RQ1 노이즈로 훼손된 행렬의 근사적 동시 상삼각화자와 진짜 동시 상삼각화자 간의 거리에 대해 이론적으로 어떻게 한계를 정할 수 있는가?
• RQ2 근사적 동시 상삼각화를 위한 국소 최적화 알고리즘이 정확한 해로 전역 수렴하기 위한 조건은 무엇인가?
• RQ3 노이즈 하에서 변환된 행렬의 고유값은 진짜 고유값에서 얼마나 벗어나는가?
• RQ4 제안된 편차 한계를 이용하여 캐논리컬 텐서 분해에서 오차 추정치를 유도할 수 있는가?
• RQ5 노이즈 수준은 근사적 상삼각화의 정확도를 결정하는 데 어떤 역할을 하는가?

주요 결과

• 기본 진짜 행렬과 노이즈 수준에 기반한, 근사적 및 정확한 동시 상삼각화자 간의 거리 α에 대한 사전 편차 한계를 도출하였으며, 온건한 가정 하에서 α ≤ O(σ)임을 보였다.
• 관측 가능한 데이터만을 사용하여 사후 한계를 제공하여, 진짜 행렬을 알지 못하더라도 해의 품질을 실용적으로 평가할 수 있도록 하였다.
• 노이즈 수준에 대한 조건이 만족될 경우, 진짜 해 근처에 초기화된 임의의 국소 강하 알고리즘이 전역 수렴 보장을 달성한다.
• 고유값 추정 오차는 |λ̂ᵢ(Ḿₙ) − λᵢ(Mₙ)| ≤ 2α‖Mₙ‖ + σ‖Wₙ‖ + O(α²)로 제한되며, 이는 편향과 노이즈에 모두 선형 의존성을 보인다.
• 헤시안의 곡률를 트레이스와 노름 부등식을 활용하여 제한하여, 낮은 노이즈 조건 하에서 전역 수렴을 지원하는 곡률 한계를 도출하였다.
• 이 프레임워크는 캐논리컬 텐서 분해에 대한 새로운 추정 오차 한계를 도출하였으며, 행렬 상삼각화와 텐서 근사 정확도 간의 연결 고리를 제공한다.