[논문 리뷰] Low-rank Approximation of Linear Maps

Patrick Héas, Cédric Herzet|arXiv (Cornell University)|2018. 12. 21.

Sparse and Compressive Sensing Techniques참고 문헌 12인용 수 5

한 줄 요약

이 논문은 힐버트 공간 내 유계 선형 연산자의 낮은 질서 근사에 대해 힐베르트-슈미트 노름을 사용한 폐쇄형 해를 제시한다. 이는 유한 차원에서의 에카르트-영 정리(이하 EYM)를 무한 차원으로 일반화한 것으로, $Y - M X$의 최적의 질서-$k$ 근사는 $M_k^* = P_k Y X^\flat$로 주어지며, 여기서 $P_k$는 $Z = Y X^\flat X$의 상위 $k$ 개의 특이부공간에 대한 사영 연산자이다. 이 경우 오차는 질서 $k$를 초과하는 제곱 특이값의 합으로 유계된다. 이는 커널 및 연속적인 동적 모드 분해(DMD)에 대한 다루기 쉬운 알고리즘을 가능하게 한다.

ABSTRACT

This work provides closed-form solutions and minimum achievable errors for a large class of low-rank approximation problems in Hilbert spaces. The proposed theorem generalizes to the case of bounded linear operators the previous results obtained in the finite dimensional case for the Frobenius norm. The theorem provides the basis for the design of tractable algorithms for kernel or continuous DMD.

연구 동기 및 목표

• 유계 선형 연산자가 정의된 힐베르트 공간 내에서 비볼록이고 무한 차원적인 낮은 질서 근사 문제를 해결하는 데 도전하는 것.
• 이전에 프로베누스 노름에 대해 알려진 유한 차원 낮은 질서 근사 결과를 힐베르트-슈미트 노름을 사용해 무한 차원 환경으로 확장하는 것.
• 문제 $\min_{M \in \mathcal{B}_k(\mathcal{V},\mathcal{V})} \|Y - M X\|_{\mathcal{HS}}$에 대해 폐쇄형 해와 정확한 오차 특성화를 제공하는 것, 여기서 $X, Y$는 힐베르트-슈미트 연산자이다.
• 닫힌 형태의 해를 도출함으로써 커널 기반 및 연속적 동적 모드 분해(DMD)에 대해 효율적이고 최적의 알고리즘을 가능하게 하는 것.

제안 방법

• 이 방법은 무한 차원 힐베르트 공간으로 확장된 슈미트-에카르트-영-밀스키 정리를 기반으로 최적의 낮은 질서 근사를 유도한다.
• 최적의 해는 $M_k^* = P_k Y X^\flat$로 정의되며, 여기서 $P_k$는 $Z = Y X^\flat X$의 상위 $k$ 개의 왼쪽 특이부공간에 대한 정규직교 사영 연산자이고, $X^\flat$는 $X$의 무어-펜로즈 의사역행렬이다.
• 원래 문제를 $X$와 $Y$의 특이값 분해를 통해 변환된 공간에서의 표준 낮은 질서 근사 문제로 변환함으로써 해를 유도하며, 힐베르트-슈미트 노름의 유니터리 불변성 특성을 활용한다.
• 오차는 두 성분으로 분해된다: $\tilde{Y}$의 특이값 꼬리(특이값 분해 $Y$에서 질서 $k$를 초과하는 부분)와 $X$의 영공간에 투영된 $Y$의 에너지.
• 이 방법은 컴팩트하고 자기수반인 연산자 $K$를 사용해 수정된 힐베르트-슈미트 노름으로 일반화되어, 내적 가중치가 있는 근사 문제에 적용 가능하다.
• 증명은 원래 문제와 축소된 부분공간에서의 변환된 문제 간의 동치성을 확립하며, 노름 불변성과 특이값 절단을 통해 최적성의 증명을 수행한다.

실험 결과

연구 질문

• RQ1 무한 차원 힐베르트 공간 내에서 힐베르트-슈미트 노름 하에 선형 연산자의 낮은 질서 근사에 대해 폐쇄형 해를 도출할 수 있는가?
• RQ2 클래식한 에카르트-영 정리는 힐베르트-슈미트 연산자 노름에 대해 무한 차원의 경우로 확장 가능한가?
• RQ3 $Y - M X$의 낮은 질서 근사에 대해 힐베르트 공간 내에서 도달 가능한 최소 오차는 무엇이며, 어떻게 분해되는가?
• RQ4 최적의 해는 $X$와 $Y$의 특이벡터와 특이값으로 어떻게 표현될 수 있는가?
• RQ5 이 프레임워크는 가중치가 있거나 수정된 힐베르트-슈미트 노름에 적응 가능할 수 있으며, 커널 기반 및 연속적 DMD에 대해 어떤 영향을 미치는가?

주요 결과

• 문제 $\min_{M \in \mathcal{B}_k(\mathcal{V},\mathcal{V})} \|Y - M X\|_{\mathcal{HS}}$의 최적 해는 $M_k^* = P_k Y X^\flat$로 폐쇄형으로 주어지며, 여기서 $P_k$는 $Z = Y X^\flat X$의 상위 $k$ 개의 특이부공간에 대한 사영 연산자이다.
• 제곱 근사 오차는 $\|Y - M_k^* X\|_{\mathcal{HS}}^2 = \sum_{i=k+1}^{m} (\sigma_i^Z)^2 + \sum_{i=\mathop{\rm rank}(X)+1}^{m} \sum_{j=1}^{m} (\sigma_j^Y)^2 \langle \psi_j^Y, \psi_i^X \rangle_{\mathcal{U}}^2$로 주어지며, 이는 특이값 꼬리와 $X$의 범위에 수직인 $Y$의 성분으로 오차를 명시적으로 분리한다.
• 오차 표현은 $M_k^*$가 $Y X^\dagger$의 주요 특이부공간을 포괄할 때 근사 오차가 최소화되며, 잔여 오차는 절단과 $X$의 영공간에 기인함을 확인한다.
• 이 해는 유한 차원에서의 에카르트-영 결과를 무한 차원 힐베르트 공간으로 일반화하며, 제약이 없는 해를 저차원 부분공간에 투영하는 구조를 유지한다.
• 이 방법은 커널 기반 및 연속적 동적 모드 분해(DMD)에 대해 정확하고 다루기 쉬운 알고리즘을 가능하게 하며, 반복 최적화를 피하는 폐쇄형 해 덕분이다.
• 이 프레임워크는 컴팩트하고 자기수반인 연산자 $K$를 통해 수정된 힐베르트-슈미트 노름으로 확장되어, 에너지 가중치나 내적 가중치가 있는 낮은 질서 근사에 적용 가능하며, 비균일 가중치가 있는 DMD에 관련된다.