[論文レビュー] On the two mutually independent factors that determine the convergence of least-squares projection method

Shukai Du, Nailin Du|arXiv (Cornell University)|Jun 3, 2014

Numerical methods in inverse problems参考文献 5被引用数 3

ひとこと要約

本稿は、ヒルベルト空間における有界線形作用素に対する最小二乗射影法の収束を決定する2つの相補的で独立な幾何的要因——核の近似可能性とオフセット角——を特定する。強収束が発生するのは、核の近似可能性が成立し、かつオフセット角が一様に $\pi/2$ 未満に保たれる場合に限られることを確立し、収束する近似スキームの評価と設計のための幾何的枠組みを提供する。

ABSTRACT

This paper investigates the least-squares projection method for bounded linear operators, which provides a natural regularization scheme by projection for many ill-posed problems. Yet, without additional assumptions, the convergence of this approximation scheme cannot be guaranteed. We reveal that the convergence of least-squares projection method is determined by two independent factors -- the kernel approximability and the offset angle. The kernel approximability is a necessary condition of convergence described with kernel $N(T)$ and its subspaces $N(T){\cap}X_n$, and we give several equivalent characterizations for it (Theorem 1). The offset angle of $X_n$ is defined as the largest canonical angle between space $T^*T(X_n)$ and $T^{\dagger}T(X_n)$ (which are subspaces of $N(T)^\bot$), and it geometrically reflects the rate of convergence (Theorem 2). The paper also presents new observations for the unconvergence examples of Seidman [10, Example 3.1] and Du [2, Example 2.10] under the notions of kernel approximability and offset angle.

研究の動機と目的

• 有界線形作用素のモア・ペンローズ逆行列を近似する際の最小二乗射影法の強収束の必要十分条件を特定すること。
• オフセット角と核の近似可能性を独立的かつ解釈可能な要因として導入することで、収束に関する幾何的洞察を提供すること。
• 従来の収束基準（例えば、正則化逆行列のノルムの一様有界性など）における幾何的直感の欠如を是正すること。
• 既知の非収束例（Seidman [10], Du [2]）を、新しい幾何的概念を用いて再分析し、その失敗メカニズムを明確化すること。

提案手法

• 核の近似可能性を、近似作用素の核への直交射影の強収束として定義する。すなわち、$\lim_{n\to\infty} P_{\mathcal{N}(T_n)} = P_{\mathcal{N}(T)}$ である。
• オフセット角 $\theta_n$ を、$\mathcal{N}(T)^\perp$ 内で部分空間 $T^*T(X_n)$ と $T^\dagger T(X_n)$ の間の最大標準角として定義する。
• 作用素 $T_n^\dagger$ の $T^\dagger$ への強収束が、核の近似可能性と $\sup_n \theta_n < \pi/2$ の両立と同値であることを確立する。
• 核の近似可能性の複数の同値な特徴づけを提供する。これには、有界弱収束や随伴作用素のグラフへの射影の収束が含まれる。
• $\mathcal{N}(T)^\perp$ の幾何的構造を用いて、$T^*T$ の像と $T^\dagger T$ の像が $X_n$ 上でどのように作用するかを分析する。
• 収束速度とオフセット角を結びつける形で、$\|T_n^\dagger y - T^\dagger y\| \leq \sqrt{1 + \tan^2 \theta_n} \cdot \mathrm{dist}(T^\dagger y, X_n)$ という形の誤差評価を導出する。

実験結果

リサーチクエスチョン

• RQ1 最小二乗射影法の強収束のための必要十分な幾何的条件は何か？
• RQ2 収束挙動は、独立的かつ解釈可能な要因にどのように分解できるか？
• RQ3 なぜ一部の標準的近似スキームは収束しないのか。その失敗の背後にある幾何的性質は何か？
• RQ4 オフセット角を用いて収束速度を予測または制御できるか？
• RQ5 核の近似可能性とオフセット角は、$\|T_n^\dagger T\|$ の一様有界性といった古典的収束基準とどのように関係するか？

主な発見

• 最小二乗射影法の強収束は、核の近似可能性と $\sup_n \theta_n < \pi/2$ の両方を満たすことに同値であり、ここで $\theta_n$ はオフセット角である。
• 核の近似可能性は、$\lim_{n\to\infty} P_{\mathcal{N}(T_n)} = P_{\mathcal{N}(T)}$ と同値であり、また随伴作用素のグラフへの射影の有界弱収束とも同値である。
• $\mathcal{N}(T) = \{0\}$ の場合、強収束が成立するのは $\sup_n \theta_n < \pi/2$ のときに限られ、誤差評価は $\|T_n^\dagger y - T^\dagger y\| \leq \sqrt{1 + \tan^2 \theta_n} \cdot \mathrm{dist}(T^\dagger y, X_n)$ となる。
• 有限次元の $\mathcal{N}(T)$ と閉じた像をもつ場合、核の近似可能性は強収束と同値であり、十分大きな $n$ に対して同じ誤差評価が成り立つ。
• オフセット角 $\theta_n$ は、$\mathcal{N}(T)^\perp$ 内で $T^*T(X_n)$ と $T^\dagger T(X_n)$ の間の角度を幾何的に測るものであり、角度が小さいほど収束が速くなる。
• $T$ が coercivity 条件 $|\langle Tu,u\rangle| \geq \alpha \|u\|^2$ と $|\langle Tu,v\rangle| \leq \beta \|u\|\|v\|$ を満たす場合、$\sup_n \sqrt{1 + \tan^2 \theta_n} \leq \|T\| \|T^{-1}\| \leq \beta / \alpha$ が成り立つ。