[논문 리뷰] On the two mutually independent factors that determine the convergence of least-squares projection method

Shukai Du, Nailin Du|arXiv (Cornell University)|2014. 06. 03.

Numerical methods in inverse problems참고 문헌 5인용 수 3

한 줄 요약

이 논문은 힐버트 공간 내에서 유계선형작용소에 대한 최소제곱 투영 방법의 수렴성을 결정짓는 두 개의 상호 독립적인 기하적 요인—핵심 근사 가능성(kernel approximability)과 오프셋 각도(offset angle)—를 규명한다. 강한 수렴이 발생하는 것은 핵심 근사 가능성 조건이 성립하고 오프셋 각도가 일관되게 $\pi/2$ 이하로 유지될 때에만 가능하며, 이는 수렴하는 근사 방법을 평가하고 설계하기 위한 기하적 프레임워크를 제공한다.

ABSTRACT

This paper investigates the least-squares projection method for bounded linear operators, which provides a natural regularization scheme by projection for many ill-posed problems. Yet, without additional assumptions, the convergence of this approximation scheme cannot be guaranteed. We reveal that the convergence of least-squares projection method is determined by two independent factors -- the kernel approximability and the offset angle. The kernel approximability is a necessary condition of convergence described with kernel $N(T)$ and its subspaces $N(T){\cap}X_n$, and we give several equivalent characterizations for it (Theorem 1). The offset angle of $X_n$ is defined as the largest canonical angle between space $T^*T(X_n)$ and $T^{\dagger}T(X_n)$ (which are subspaces of $N(T)^\bot$), and it geometrically reflects the rate of convergence (Theorem 2). The paper also presents new observations for the unconvergence examples of Seidman [10, Example 3.1] and Du [2, Example 2.10] under the notions of kernel approximability and offset angle.

연구 동기 및 목표

• 유계선형작용소의 모어-펜로즈 역행렬을 근사할 때 최소제곱 투영 방법의 강한 수렴을 위한 필요 및 충분 조건을 규명하는 것.
• 오프셋 각도와 핵심 근사 가능성이라는 독립적이고 해석 가능한 요인을 도입하여 수렴성에 대한 기하적 통찰을 제공하는 것.
• 기존 수렴 기준에서 부족한 기하적 직관(예: 정규화된 역행렬의 노름의 균일 유계성)을 보완하는 것.
• 기존에 알려진 수렴하지 않는 예시들(Seidman [10], Du [2])을 새로운 기하 개념을 사용하여 재분석하여 실패 메커니즘을 명확히 하는 것.

제안 방법

• 근사된 작용소의 핵심에 대한 정사 투영의 강한 수렴으로서 핵심 근사 가능성의 개념을 도입한다. 즉, $\lim_{n\to\infty} P_{\mathcal{N}(T_n)} = P_{\mathcal{N}(T)}$.
• 오프셋 각도 $\theta_n$ 을 $\mathcal{N}(T)^\perp$ 내부에서 부분공간 $T^*T(X_n)$ 과 $T^\dagger T(X_n)$ 사이의 최대 표준각으로 정의한다.
• 작용소 $T_n^\dagger$ 가 $T^\dagger$ 로 강한 수렴하는 것과 핵심 근사 가능성 및 $\sup_n \theta_n < \pi/2$ 가 동치임을 증명한다.
• 핵심 근사 가능성의 여러 동치 표현을 제공한다. 예를 들어, 유계-약수렴 및 고유연산자의 그래프 위로의 투영 수렴 등.
• $\mathcal{N}(T)^\perp$ 의 기하적 구조를 활용하여 $T^*T$ 의 상과 $T^\dagger T$ 가 $X_n$ 에서의 상 사이의 상호작용을 분석한다.
• 수렴 속도와 오프셋 각도를 연결하는 오차 한계를 유도한다. 형태는 $\|T_n^\dagger y - T^\dagger y\| \leq \sqrt{1 + \tan^2 \theta_n} \cdot \mathrm{dist}(T^\dagger y, X_n)$.

실험 결과

연구 질문

• RQ1 최소제곱 투영 방법의 강한 수렴을 위한 필요 및 충분 기하 조건은 무엇인가?
• RQ2 수렴 행동는 어떻게 독립적이고 해석 가능한 요인들로 분해될 수 있는가?
• RQ3 일부 표준 근사 방법들이 수렴하지 못하는 이유는 무엇이며, 그 실패의 기하적 원인은 무엇인가?
• RQ4 오프셋 각도는 수렴 속도를 예측하거나 제어하는 데 사용될 수 있는가?
• RQ5 핵심 근사 가능성과 오프셋 각도는 $\|T_n^\dagger T\|$ 의 균일 유계성과 같은 고전적 수렴 기준과 어떻게 관련이 있는가?

주요 결과

• 최소제곱 투영 방법의 강한 수렴은 핵심 근사 가능성과 $\sup_n \theta_n < \pi/2$ 의 동시 만족과 동치이며, 여기서 $\theta_n$ 은 오프셋 각도이다.
• 핵심 근사 가능성은 $\lim_{n\to\infty} P_{\mathcal{N}(T_n)} = P_{\mathcal{N}(T)}$ 와 동치이며, 고유연산자의 그래프 위로의 투영의 유계-약수렴과도 동치이다.
• $\mathcal{N}(T) = \{0\}$ 인 경우, 강한 수렴이 성립하는 것은 $\sup_n \theta_n < \pi/2$ 와 동치이며, 오차 한계는 $\|T_n^\dagger y - T^\dagger y\| \leq \sqrt{1 + \tan^2 \theta_n} \cdot \mathrm{dist}(T^\dagger y, X_n)$ 이다.
• 유한차원인 $\mathcal{N}(T)$ 와 닫힌 상을 가진 경우, 핵심 근사 가능성은 강한 수렴과 동치이며, 충분히 큰 $n$ 에 대해 동일한 오차 한계가 성립한다.
• 오프셋 각도 $\theta_n$ 은 $\mathcal{N}(T)^\perp$ 내에서 $T^*T(X_n)$ 과 $T^\dagger T(X_n)$ 사이의 각도를 기하학적으로 측정하며, 더 작은 각도는 더 빠른 수렴을 의미한다.
• 만약 $T$ 가 강한 강제성 조건 $|\langle Tu,u\rangle| \geq \alpha \|u\|^2$ 과 $|\langle Tu,v\rangle| \leq \beta \|u\|\|v\|$ 를 만족하면, $\sup_n \sqrt{1 + \tan^2 \theta_n} \leq \|T\| \|T^{-1}\| \leq \beta / \alpha$ 가 성립한다.