[論文レビュー] Training Image Estimators without Image Ground-Truth

Zhihao Xia, Ayan Chakrabarti|arXiv (Cornell University)|Jun 13, 2019

Advanced Image Processing Techniques参考文献 35被引用数 9

ひとこと要約

本論文は、真の画像を一切使用せず、同じ画像の2つの異なる測定値の間の整合性を強制することで、教師あり学習に匹敵する性能を達成する非教師付き深層学習フレームワークを提案する。この手法は、圧縮センシングおよびブラインドデブラーにおいて、測定パラメータ（例：ぼかしカーネル）がトレーニング中に未知であっても、代理の教師信号メカニズムを用いて画像推定器とパラメータ推定器を同時に学習することで、完全教師あり学習に近い性能を達成する。

ABSTRACT

Deep neural networks have been very successful in image estimation applications such as compressive-sensing and image restoration, as a means to estimate images from partial, blurry, or otherwise degraded measurements. These networks are trained on a large number of corresponding pairs of measurements and ground-truth images, and thus implicitly learn to exploit domain-specific image statistics. But unlike measurement data, it is often expensive or impractical to collect a large training set of ground-truth images in many application settings. In this paper, we introduce an unsupervised framework for training image estimation networks, from a training set that contains only measurements---with two varied measurements per image---but no ground-truth for the full images desired as output. We demonstrate that our framework can be applied for both regular and blind image estimation tasks, where in the latter case parameters of the measurement model (e.g., the blur kernel) are unknown: during inference, and potentially, also during training. We evaluate our method for training networks for compressive-sensing and blind deconvolution, considering both non-blind and blind training for the latter. Our unsupervised framework yields models that are nearly as accurate as those from fully supervised training, despite not having access to any ground-truth images.

研究の動機と目的

• 大規模な真の画像を収集することが現実的でない、あるいは極めて高価である状況において、深層画像推定ネットワークをどのようにトレーニングするかという課題に対処すること。
• 真の画像にアクセスできない状況でも、同一の画像からの測定ペアにのみ依存する非教師付きトレーニングフレームワークを構築すること。
• 測定パラメータ（例：ぼかしカーネル）がトレーニング中に不明であるブラインド設定にこの手法を拡張すること。
• 真の画像が一切存在しない状況でも、一貫性に基づく教師信号が、完全教師ありベースラインとほぼ同等の精度のモデルを生成できることを示すこと。
• 医療画像や天文学など、真のデータが限られる分野において、深層学習を活用可能にするための基盤を提供すること。

提案手法

• 本手法は、1つの測定から得た予測が、対応する測定パラメータを用いて再測定した場合に、もう一方の測定と整合的であるように、一貫性を強制することで深層画像推定ネットワークをトレーニングする。
• 非ブラインド設定では、測定パラメータ（例：圧縮行列やぼかしカーネル）が既知であり、それらを用いてスワップ測定損失および自己測定損失を計算する。
• ブラインド設定では、画像推定ネットワークと同時に学習する別個のパラメータ推定ネットワークを導入し、トレーニング中に画像ネットワークの自身の予測から生成された動的代理トレーニングセットを用いる。
• 代理セットは、ランダムに選択された既知のパラメータを用いて予測画像から合成的に測定値を生成することで作成され、画像推定器とパラメータ推定器の両方の教師信号として機能する。
• ブラインドケースでは、共有エンコーダアーキテクチャに加え、パラメータ推定のための別個のデコーダパスを備え、エンドツーエンドのトレーニングを可能にする。
• 損失関数には、測定の一貫性に基づく損失と、非ブラインドおよびブラインド両設定でのトレーニング安定性と性能向上を目的とした代理損失が含まれる。

実験結果

リサーチクエスチョン

• RQ1 真の画像が一切存在しない状況でも、同一画像からの測定ペアにのみ依存して、画像推定ネットワークを効果的にトレーニングできるか？
• RQ2 一貫性に基づく教師信号は、画像再構成およびデブラーのタスクにおいて、完全教師あり学習に比べてどの程度の性能を発揮するか？
• RQ3 測定パラメータがトレーニング中に不明であるブラインド設定にも、この手法が一般化可能か？
• RQ4 真の画像が存在しない状況で、代理教師信号メカニズムを組み込むことで、モデル性能にどのような影響を与えるか？
• RQ5 このフレームワークは、圧縮センシングやブラインドデブラーなど、最小限のデータ要件で多様な画像処理タスクに応用可能か？

主な発見

• 非教師付き手法は、Helen顔デブラーデータセットでPSNR 25.95 dB、SSIM 0.878を達成し、教師ありベースライン（PSNR 26.13 dB、SSIM 0.886）に非常に近い性能を示した。
• 非ブラインドトレーニングにおいて代理損失を除去すると、PSNRが25.47 dBに低下し、真の画像が存在しない状況でもその損失が精度を維持するために不可欠であることが示された。
• ブラインドトレーニングバージョンは、HelenデータセットでPSNR 25.93 dB、SSIM 0.876を達成し、真の画像やぼかしカーネルにアクセスできない状況でも、教師ありベースラインにほぼ匹敵する性能を示した。
• 図3の定性的な結果から、非教師付きモデルの復元出力は、教師ありベースラインおよび最先端手法と視覚的に同等の品質であることが示された。
• 図4に示すように、ブラインドトレーニング中に学習されたカーネル推定器は、ぼかしカーネルを正確に予測できており、測定の一貫性の強制に有効に機能した。
• 本手法により、真の画像収集が現実的でない医療画像や天文学的画像処理の分野でも、高精度な画像推定ネットワークのトレーニングが可能になった。