[論文レビュー] Learned SVD: solving inverse problems via hybrid autoencoding

Yoeri E. Boink, Christoph Brüne|arXiv (Cornell University)|Dec 20, 2019

Model Reduction and Neural Networks参考文献 45被引用数 8

ひとこと要約

この論文では、測定値と信号の非線形的低次元多様体を2つの接続されたオートエンコーダーを用いて学習することで逆問題を解くデータ駆動型手法である学習されたSVD（L-SVD）を紹介する。測定値と信号の間を結ぶ線形スケーリング層を介して、反復的でない、解釈可能な1ステップの逆問題が可能であり、前方作用素が不明であっても性能を発揮する。また、前方モデルが既知の場合、収束保証が与えられ、Tikhonov、ORIM、TV手法をPSNRおよびSSIMの観点で上回る優れた再構成品質を達成する。

ABSTRACT

Our world is full of physics-driven data where effective mappings between data manifolds are desired. There is an increasing demand for understanding combined model-based and data-driven methods. We propose a nonlinear, learned singular value decomposition (L-SVD), which combines autoencoders that simultaneously learn and connect latent codes for desired signals and given measurements. We provide a convergence analysis for a specifically structured L-SVD that acts as a regularisation method. In a more general setting, we investigate the topic of model reduction via data dimensionality reduction to obtain a regularised inversion. We present a promising direction for solving inverse problems in cases where the underlying physics are not fully understood or have very complex behaviour. We show that the building blocks of learned inversion maps can be obtained automatically, with improved performance upon classical methods and better interpretability than black-box methods.

研究の動機と目的

• 複雑または部分的に未知の物理法則に従う逆問題を解くためのデータ駆動型で解釈可能な手法を開発すること。
• 測定値と信号の両方の非線形的多様体を同時に学習することで、モデルベースの正則化とディープラーニングを統合すること。
• 潜在変数を接続する線形スケーリング層を備えたハイブリッドオートエンコーダー構造により、直接的かつ反復的でない逆問題を可能にすること。
• 前方作用素が既知の場合、L-SVDがデータ駆動型Tikhonov正則化法として理論的収束保証を有することを示すこと。
• 完全なペairedデータが入手不可であっても、オートエンコーダーを用いて信号再構成を正則化することで、半教師付き学習を支援すること。

提案手法

• L-SVDは2つのオートエンコーダーを用いる：一方は測定値 $ y^\delta $ を潜在コード $ z^y $ に符号化し、もう一方は信号 $ x $ を $ z^x $ に符号化する。両者とも非線形的に処理される。
• 潜在コード $ z^x $ と $ z^y $ は線形スケーリング層によって接続され、これにより2つの多様体間の学習された解釈可能な写像が実現される。
• すべてのネットワークパラメータは同時に学習され、両方のデータ多様体と信号多様体に情報が保持され、潜在表現が整合するようにされる。
• 前方作用素 $ A $ が既知の場合、L-SVDはデータ駆動型Tikhonov正則化法として構造化でき、ノイズ下でも収束が保証される。
• 畳み込み型や変分オートエンコーダーを含む柔軟なアーキテクチャをサポートし、$ A $ の部分的な知識を組み込むことで一般化性能を向上させることができる。
• 再構成は順方向伝搬により実行される：$ y^\delta \to z^y $ を符号化、スケーリング $ z^y \to z^x $ を適用、その後 $ z^x \to \hat{x} $ を復号化する。

実験結果

リサーチクエスチョン

• RQ1 反復的かつ高コストな前方作用素の適用を必要とせず、安定的で解釈可能かつ高性能な逆写像をハイブリッドオートエンコーダー枠組みが学習可能か。
• RQ2 前方作用素が既知である場合、L-SVDはTikhonov や全変動（TV）といった古典的手法と比較して、どのような性能を示すか。
• RQ3 前方作用素が未知または複雑な物理法則に従う逆問題に、L-SVDはどの程度一般化可能であり、解釈可能性をどのように維持するか。
• RQ4 共同オートエンコーディングと線形スケーリングが、特に半教師付き設定下での再構成品質と収束性に与える影響は何か。
• RQ5 前方作用素が明示的に使用されない状況でも、L-SVDがノイズ下で収束保証を持つ正則化法として理論的に正当化可能か。

主な発見

• テストデータにおいてL-SVDはPSNR 36.34 ± 1.62、SSIM 0.920 ± 0.023を達成し、T-SVD（33.86 ± 1.11 PSNR）、ORIM（34.19 ± 1.12 PSNR）、TV（35.90 ± 1.40 PSNR）を上回る。
• 線形手法（T-SVD、ORIM）よりも優れた再構成品質を発揮し、TVと同等またはそれを上回るPSNRおよびSSIMを達成するが、TVは収束までに約1000回の反復を要する。
• L-SVDは反復的でない直接的再構成を可能にし、TVとは異なり計算コストが高くなく、パラメータチューニングも不要である。
• オートエンコーディングの進展により、再構成誤差はオートエンコーダーの性能に依存するため、より優れたアーキテクチャの導入で将来的に性能向上が可能である。
• 前方作用素が既知の場合、L-SVDはノイズ下で収束が保証され、データ駆動型Tikhonov正則化法として理論的妥当性を示している。
• このアーキテクチャは半教師付き学習をサポートし、オートエンコーダーがラベルなしデータを活用でき、従来の教師ありネットワークを上回る一般化性能を実現する。