[論文レビュー] An Unsupervised Approach to Solving Inverse Problems using Generative Adversarial Networks

Rushil Anirudh, Jayaraman J. Thiagarajan+2 more|arXiv (Cornell University)|May 18, 2018

Ultrasonics and Acoustic Wave Propagation被引用数 20

ひとこと要約

本稿では、測定プロセスの知識が不要な状況下でも、不完全または汚損された観測から信号を盲目的に回復できる、事前学習済み GAN を事前分布として用いた非教師付き手法を提案する。測定プロセスの知識がなくても、潜在変数と前方モデルを近似する浅いニューラルネットワークを繰り返し最適化することで、ぼかし復元、エッジから画像への再構成、ブレンドソース分離において最先端の性能を達成する。特に、非常に不定な状況下でも有効である。

ABSTRACT

Solving inverse problems continues to be a challenge in a wide array of applications ranging from deblurring, image inpainting, source separation etc. Most existing techniques solve such inverse problems by either explicitly or implicitly finding the inverse of the model. The former class of techniques require explicit knowledge of the measurement process which can be unrealistic, and rely on strong analytical regularizers to constrain the solution space, which often do not generalize well. The latter approaches have had remarkable success in part due to deep learning, but require a large collection of source-observation pairs, which can be prohibitively expensive. In this paper, we propose an unsupervised technique to solve inverse problems with generative adversarial networks (GANs). Using a pre-trained GAN in the space of source signals, we show that one can reliably recover solutions to under determined problems in a `blind' fashion, i.e., without knowledge of the measurement process. We solve this by making successive estimates on the model and the solution in an iterative fashion. We show promising results in three challenging applications -- blind source separation, image deblurring, and recovering an image from its edge map, and perform better than several baselines.

研究の動機と目的

• 測定プロセスが不明または複雑な場合の逆問題を解く挑戦に応えること。
• 教師あり深層学習手法に必要な大規模なペairedデータセット (X, Y) に依存しないこと。
• 事前学習済み GAN のみを用いて、測定プロセスの知識なしに、ブレンドソース分離と非常に不定な観測からの再構成を可能にすること。
• 多様な逆画像処理タスクに適用可能な汎用的で非教師付きのフレームワークを開発すること。

提案手法

• 事前学習済み GAN を用いて、信号の事前分布をモデル化し、その潜在空間を制限された解空間として利用する。
• 未知の前方モデル F を浅いニューラルネットワークとしてパラメータライズし、推論時に潜在変数と同時に最適化する。
• 交互最適化スキームを用いる：まずモデル推定値を固定して潜在変数を最適化し、次に潜在変数を固定してモデル推定値を更新する。
• 損失関数を、観測データと GAN が生成した信号に推定前方モデルを適用した出力との再構成誤差として定式化する。
• 繰り返し適用することで、前方モデル F の知識なしに、信号と前方モデルの両方を盲目的に回復する。
• 複数の観測や非線形混合を扱えるようにフレームワークを一般化し、ブレンドソース分離などの応用を可能にする。

実験結果

リサーチクエスチョン

• RQ1 事前学習済み GAN は、ペaired学習データが入手不可な状況下でも、強力でデータ駆動型の事前分布として逆問題を解くのに有効であるか？
• RQ2 解析的知識が欠如した状況下で、共同最適化された浅いニューラルネットワークが未知の前方モデルをどれほど正確に近似できるか？
• RQ3 本手法は、ぼかし復元、エッジから画像への再構成、ブレンドソース分離といった多様な逆問題に一般化可能か？
• RQ4 他の手法が失敗するような非常に不定な状況下でも、本手法は既存の非教師付きベースラインをどれほど上回るか？
• RQ5 前方モデルが非線形的であるか、観測数が限られている状況下でも、本手法はどれほど頑健か？

主な発見

• ぼかし復元およびエッジから画像への再構成タスクにおいて、前方モデルの完全な知識を持つ教師ありベースラインと比較しても、競争力のある性能を達成した。
• 3つの信号の非線形混合が1つだけ与えられたブレンドソース分離において、本手法は非常に現実的で妥当なソース画像を回復し、ICA や単純な加法的モデルを上回った。
• 3つの信号から4つの非線形混合が得られる過決定状況においても、本手法は正確な再構成を生成し、複雑な混合関数に対しても頑健であることを示した。
• 特に、他の手法が失敗する不定状況下において、本手法は既存の非教師付き手法を顕著に上回った。
• 同じフレームワークを、ぼかし復元、エッジから画像への再構成、ソース分離の各タスクに再利用可能であり、アーキテクチャの変更なしに汎用的に適用可能であった。
• GAN 事前分布の使用により、解空間が非常に不定であっても、高品質で意味的に意味のある再構成が可能になった。