[論文レビュー] Sensing Theorems for Unsupervised Learning in Linear Inverse Problems

Julián Tachella, Dongdong Chen+1 more|arXiv (Cornell University)|Mar 23, 2022

Numerical methods in inverse problems被引用数 9

ひとこと要約

本稿は、線形逆問題における教師なし学習の基本的センシング条件を確立し、不完全な測定値からの低次元信号モデルの同定可能性について、必要十分条件を導出する。モデル同定可能性は、互いに異なる核空間をもつ複数の測定演算子、または群不変性（例：平行移動、回転）を介して達成可能であり、その境界は学習アルゴリズムの選択に依存せず、モデル次元および群／演算子構造にのみ依存する。

ABSTRACT

Solving an ill-posed linear inverse problem requires knowledge about the underlying signal model. In many applications, this model is a priori unknown and has to be learned from data. However, it is impossible to learn the model using observations obtained via a single incomplete measurement operator, as there is no information about the signal model in the nullspace of the operator, resulting in a chicken-and-egg problem: to learn the model we need reconstructed signals, but to reconstruct the signals we need to know the model. Two ways to overcome this limitation are using multiple measurement operators or assuming that the signal model is invariant to a certain group action. In this paper, we present necessary and sufficient sensing conditions for learning the signal model from measurement data alone which only depend on the dimension of the model and the number of operators or properties of the group action that the model is invariant to. As our results are agnostic of the learning algorithm, they shed light into the fundamental limitations of learning from incomplete data and have implications in a wide range set of practical algorithms, such as dictionary learning, matrix completion and deep neural networks.

研究の動機と目的

• 教師なし逆問題における根本的な「鶏と卵」の問題に取り組む：モデル学習には再構築信号が必要だが、再構築にはモデルが必要である。
• 真の信号が存在しない状況でも、不完全な測定値からのみ低次元信号モデルを理論的に同定可能かどうかを特定する。
• 複数の測定演算子または群不変性を介した最小限のセンシング要件を同定し、モデル同定を可能にする。
• 辞書学習、行列補完、深層学習などのあらゆる手法に普遍的に適用可能な、アルゴリズムに依存しない理論的境界を提供する。
• 等長的画像処理や複数演算子センシングに関する先行の経験的知見を統合・一般化し、形式的な理論的条件を提示する。

提案手法

• 信号モデルの次元と測定演算子の数、または群作用の性質に基づいて、信号モデル同定可能性の必要十分センシング条件を導出する。
• 測定演算子の核空間構造を用いて、測定値から信号集合に関する情報が回復可能かどうかを判定する。
• 変換 $ T_g $ を用いた仮想的測定演算子の生成として、群不変性の概念を導入し、1つの物理的演算子からもモデル学習を可能にする。
• 特に $ \max_j c_j / s_j $ を用いて、群作用の無限小表現に基づく条件を定式化する。ここで $ c_j $ は多重度、$ s_j $ は無限小表現の次元を表す。
• 合成および実データ（例：シフトおよび反転不変性を有するMNIST）を用いて実世界の設定に適用し、教師ありおよび教師なし手法を比較する。
• U-Netアーキテクチャに等長的学習損失を適用し、圧縮比 $ m/n $ を変化させた状況で性能を評価し、理論的境界を実証的に検証する。

実験結果

リサーチクエスチョン

• RQ1 真の信号が存在しない状況で、不完全な測定値からのみ低次元信号モデルを一意に同定可能な条件は何か？
• RQ2 異なる核空間を有する複数の測定演算子を用いることで、信号モデルの同定可能性はどのように変化するか？
• RQ3 群不変性（例：平行移動、回転）を用いることで、1つの測定演算子からどの程度モデル学習が可能になるか？
• RQ4 モデル同定に必要な最小測定数は何か？ これは信号モデルの次元および群構造にどのように依存するか？
• RQ5 辞書学習や深層画像再構築のような教師なし学習設定において、理論的境界と実験的性能はどのように比較されるか？

主な発見

• Conjecture 10が成り立つと仮定すれば、$ \max_j c_j / s_j = 1 $ のシフト不変性下で、測定数 $ m > 2k + 1 $ のとき、モデル同定が可能である（$ k $ は信号モデルの次元）。
• 90°回転および反転の群（$ |\mathcal{G}| = 8 $）において、同定可能性の十分条件は $ m > 0.16n $ であり、巡回部分群の $ m > 0.28n $ の境界よりも厳しく、より豊かな対称性が性能向上をもたらすことを確認した。
• $ m/n > 0.07 $ のとき、教師なし等長的手法は教師あり学習と同等の性能を達成するが、非等長的教師なし手法は完全に失敗し、疑似逆行列に収束する。
• $ 0.03 < m/n < 0.07 $ の範囲では、教師あり手法が教師なし等長的手法を上回る。これは、安定なモデル同定には、単なる一意性よりも多くの測定が必要であることを示唆する。
• 群表現論（$ \max_j c_j / s_j $ を通じて）から導出された理論的境界は、実験的性能を正確に予測でき、提案されたセンシング定理の妥当性を裏付けた。
• 提案された条件はアルゴリズムに依存せず、辞書学習、行列補完、深層ニューラルネットワークを問わず普遍的に適用可能であり、不完全データからの学習の根本的限界を提供する。