[論文レビュー] Regularising Inverse Problems with Generative Machine Learning Models

Margaret Duff, Neill D. F. Campbell+1 more|arXiv (Cornell University)|Jul 22, 2021

Model Reduction and Neural Networks被引用数 6

ひとこと要約

本論文では、事前学習済みの生成モデル（例：オートエンコーダ、VAE、GAN）によって学習された多様体の周辺に逆問題の解が位置するように制約する生成的正則化項を提案する。データ駆動型の事前知識を活用することで、画像再構成性能が向上する。主な発見は、生成器の範囲からわずかな逸脱を許容することで、特に複雑なデータにおいて、厳密な適合よりも一貫性が高く、品質の優れた再構成が得られることである。

ABSTRACT

Deep neural network approaches to inverse imaging problems have produced impressive results in the last few years. In this paper, we consider the use of generative models in a variational regularisation approach to inverse problems. The considered regularisers penalise images that are far from the range of a generative model that has learned to produce images similar to a training dataset. We name this family extit{generative regularisers}. The success of generative regularisers depends on the quality of the generative model and so we propose a set of desired criteria to assess generative models and guide future research. In our numerical experiments, we evaluate three common generative models, autoencoders, variational autoencoders and generative adversarial networks, against our desired criteria. We also test three different generative regularisers on the inverse problems of deblurring, deconvolution, and tomography. We show that restricting solutions of the inverse problem to lie exactly in the range of a generative model can give good results but that allowing small deviations from the range of the generator produces more consistent results.

研究の動機と目的

• 生成的機械学習モデルを事前知識として用いた、逆問題のためのデータ駆動型正則化フレームワークの構築。
• オートエンコーダ、VAE、GAN のような異なる生成モデルが逆問題に適しているかの評価。
• 逆問題の文脈における高品質な生成モデルの選定・評価に役立つ基準の同定と評価。
• 生成器の範囲への厳密な適合と、逸脱を許容する緩い正則化戦略の比較。
• さまざまな逆問題（デブラーイング、デコンボリューション、トモグラフィー）における手法の有効性の実証。

提案手法

• 生成モデル G: Z → X を用いて、解 x が G の出力範囲から遠い場合にペナルティを与える正則化項を定義する。
• 3つの正則化戦略を評価する：(1) 生成器の範囲への正確な適合を強制する、(2) 低次元空間での正則化によりわずかな逸脱を許容する、(3) 稀な逸脱を許容する。
• 最適化問題は、ハード制約の場合に min_z ||AG(z) - y||²₂ + λ||z||²₂ として定式化され、緩いおよびスパースな逸脱のケースに対しても変種が導入される。
• 生成モデルは、逆問題フレームワークに組み込む前に独立してデータセット上で訓練され、異なる前方演算子やノイズモデルに対しても柔軟性を確保する。
• 教師付きデータペアの必要がない、変分的正則化と深層生成的事前知識の組み合わせを採用する。
• 数値実験では、PSNR と視覚的検査を用いて、ノイズレベルが異なるデブラーイング、デコンボリューション、トモグラフィーのタスクにおける性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 教師なしで学習された生成モデルは、変分的逆問題において効果的な正則化項として機能するか？
• RQ2 生成的正則化項の性能は、生成モデルの選択（AE, VAE, GAN）にどのように依存するか？
• RQ3 生成器の範囲に解を厳密に制限することが、わずかな逸脱を許容する場合よりも優れた結果をもたらすか？
• RQ4 逆問題応用における生成モデルの選定および訓練に導くべき基準は何か？
• RQ5 Tikhonov や Total Variation といった古典的正則化手法と比較して、本手法の再構成品質と耐性はどのように異なるか？

主な発見

• 生成器の範囲からのわずかな逸脱を許容することで、複雑または変動性の高いデータセットにおいて、範囲への厳密な適合を上回る一貫性と優れた品質の再構成が得られた。
• AE および VAE モデルが最も一貫性があり、品質の高い再構成を達成したが、GAN は初期化に敏感で、性能が劣った。
• 緩い正則化戦略は、デブラーイングおよびデコンボリューションタスクにおいて、ノイズレベルにわたる平均PSNRが最も高く、Tikhonov 正則化よりも分散が小さかった。
• トモグラフィーにおいては、低ノイズレベルで緩い手法が最高のPSNRを達成し、ハード制約やスパース逸脱手法よりも細部をより効果的に捉えていた。
• ハード制約手法はノイズレベルにかかわらず一貫した結果を示したが、ノイズ低減に伴い改善が見られず、適応性の欠如が示された。
• 本研究では、逆問題応用における効果的な生成モデルに求められる基準として、多様性、再構成忠実度、最適化の不安定性に対する耐性を同定した。現行のモデル（特に GAN）は、これらを満たすことがしばしば難しいことが判明した。