[論文レビュー] A convex variational model for learning convolutional image atoms from incomplete data

Antonin Chambolle, Martin Höller|arXiv (Cornell University)|Dec 7, 2018

Numerical methods in inverse problems参考文献 67被引用数 16

ひとこと要約

本稿では、不完全でノイズが混入している、またはぼやけたデータから同時に画像を再構築し、畳み込み型画像アトムを学習するための凸変分モデルを提案する。関数的リフトと凸緩和を活用することで、問題の適切な定式化、安定性、およびグローバル最適解の保証がなされ、画像再構築およびアトム学習分野における非凸的深層学習手法に対する数学的に厳密な代替手法を提供する。

ABSTRACT

A variational model for learning convolutional image atoms from corrupted and/or incomplete data is introduced and analyzed both in function space and numerically. Building on lifting and relaxation strategies, the proposed approach is convex and allows for simultaneous image reconstruction and atom-learning in a general, inverse problems context. Further, motivated by an improved numerical performance, also a semi-convex variant is included in the analysis and the experiments of the paper. For both settings, fundamental analytical properties allowing in particular to ensure well-posedness and stability results for inverse problems are proven in a continuous setting. Exploiting convexity, globally optimal solutions are further computed numerically for applications with incomplete, noisy and blurry data and numerical results are shown.

研究の動機と目的

• データ駆動型画像再構築手法、特に深層学習に基づく手法において、数学的安定性と正則化の保証が不足している問題に対処する。
• 古典的変分法と現代のデータ適応的学習の間のギャップを埋めるために、画像再構築とアトム学習を統合した凸フレームワークを導入する。
• 不完全または汚染されたデータを含む逆問題において、関数空間における適切な定式化と安定性を保証する。
• 非凸的訓練を回避する数学的根拠を提供するため、凸緩和を用いてグローバル最適解を実現する。
• 同時に再構築とアトム学習を可能にするだけでなく、アトムを事前に学習し、その後に再構築や分類に再利用する二段階ワークフローも可能にする。

提案手法

• 係数行列に低ランク制約を課した畳み込みラッソフレームワークを用いて、画像再構築とアトム学習の問題を定式化する。
• 非凸的低ランク最小化を高次元空間における凸問題に変換するため、関数的リフトを適用する。
• リフトされた画像-アトム分解を表現するために射影テンソル積を用い、元の非凸問題の凸緩和を可能にする。
• 数値的性能を向上させるために半凸バージョンを導入しつつ、理論的安定性と収束性を維持する。
• リフトされた係数行列における核ノルム最小化を用いて、畳み込み表現におけるスパarsityを促進する。
• 射影テンソル積と単射テンソル積の双対性を用いて双対問題を導出し、プライマル・デュアルアルゴリズムによる効率的な数値計算を可能にする。

実験結果

リサーチクエスチョン

• RQ1 不完全または汚染されたデータから同時に畳み込み型画像アトムを学習し、画像を再構築できる凸変分モデルを構築できるか？
• RQ2 提案されたリフトと緩和戦略は、画像再構築およびアトム学習を含む逆問題において、関数空間における適切な定式化と安定性を保証するか？
• RQ3 凸形式はグローバル最適解を達成できるか？また、非凸的深層学習手法と比較して、数学的保証の観点からどのように異なるか？
• RQ4 半凸バージョンは理論的安定性を損なわず、数値的性能をどのように向上させるか？
• RQ5 凸的かつ安定した学習フレームワークのもとで、学習されたアトムはテクスチャ再構築や分類といった後続タスクにどの程度一般化可能か？

主な発見

• 提案された凸変分モデルは、関数空間における適切な定式化と安定性を保証し、古典的逆問題の結果を拡張する理論的保証を有する。
• 関数的リフトと凸緩和戦略により、非凸的低ランクアトム学習問題が凸問題に変換され、グローバル最適な数値解が得られる。
• 数値実験により、不完全でノイズが混入し、ぼやけたデータからも効果的な画像再構築とテクスチャ回復が可能であることが示され、定量的・定性的な指標でベースライン手法を上回った。
• 半凸バージョンは収束速度と実用的性能を向上させつつ、理論的安定性と収束性を保持している。
• 本手法は、一度のステップで画像アトムと再構築を同時に学習可能であり、あるいはアトムを事前に学習し、後で再利用する二段階ワークフローも可能である。
• 理論的解析により、基礎となる関数空間の可分性に起因し、リフト空間における有界集合が弱*-コンパクトであることが確認され、コンパクト性と収束に関する議論を支持する。