[論文レビュー] Prior Image-Constrained Reconstruction using Style-Based Generative Models

Varun A. Kelkar, Mark A. Anastasio|arXiv (Cornell University)|Feb 24, 2021

Image Processing Techniques and Applications被引用数 7

ひとこと要約

本稿では、スタイルベースの生成モデル（例：StyleGAN）の分離された潜在空間を活用して、事前画像を制約として再構築する新しい画像再構築フレームワークを提案する。事前画像からの特定の意味的スタイルを潜在空間で固定し、残りのスタイルについて最適化することで、極めて不完全な測定値からのオブジェクト再構築において、従来のスパース差分法やベースライン生成モデル手法を上回る安定性と精度を達成した。数値実験では、性能が顕著に優れていることが示された。

ABSTRACT

Obtaining a useful estimate of an object from highly incomplete imaging measurements remains a holy grail of imaging science. Deep learning methods have shown promise in learning object priors or constraints to improve the conditioning of an ill-posed imaging inverse problem. In this study, a framework for estimating an object of interest that is semantically related to a known prior image, is proposed. An optimization problem is formulated in the disentangled latent space of a style-based generative model, and semantically meaningful constraints are imposed using the disentangled latent representation of the prior image. Stable recovery from incomplete measurements with the help of a prior image is theoretically analyzed. Numerical experiments demonstrating the superior performance of our approach as compared to related methods are presented.

研究の動機と目的

• 意味的に関連する事前画像が利用可能な状況において、極めて不完全な画像測定からのオブジェクト再構築の課題に対処すること。
• 従来のスパース差分モデルが、オブジェクトと事前画像の差分が圧縮可能であると仮定しているが、実際には成り立たない場合があるという限界を克服すること。
• スタイルベースの生成モデルの分離された潜在空間を活用し、意味的レベルでの意味のある正則化を画像再構築に導入すること。
• 非一様なセンシングと分布内仮定の下で、再構築プロセスの理論的安定性保証を提供すること。
• 実データおよび合成データを用いた圧縮センシングおよびMRI再構築タスクにおいて、既存手法を上回る性能を実証すること。

提案手法

• 事前学習済みのスタイルベース生成モデル（例：StyleGAN）の分離された潜在空間における最適化として画像再構築問題を定式化する。
• 事前画像の分離された潜在表現を計算し、特定のスタイルベクトル（p1, p2）を事前画像のそれと一致させるように制約を課す。
• 残りの潜在ベクトルを最適化して、不完全な測定値とのデータ整合性を最小化するとともに、意味的構造を保持する。
• 粗いスケール、中間スケール、細かいスケールの順に制御された階層的アプローチで、事前画像のスタイルベクトルからの逸脱をペナルティ化する正則化項を用いる。
• 生成モデルのヤコビアンに基づく理論的分析を用い、測定ノイズ下での安定性を保証する。
• 勾配ベースの最適化スキームを用いてアルゴリズムを実装し、単一GPUで約5分で収束する。

実験結果

リサーチクエスチョン

• RQ1 事前画像からの分離された潜在空間の制約が、極めて不完全な画像再構築状況における再構築精度を向上させることができるか？
• RQ2 固定するスタイルベクトルの選択（p1, p2）が再構築性能および安定性に与える影響は何か？
• RQ3 提案手法は、スパース差分ペナルティを用いた従来の事前画像制約付き圧縮センシング（PICCS）を上回るか？
• RQ4 測定ノイズおよび非一様サンプリング下で、再構築画像の安定性についてどのような理論的保証を提供できるか？
• RQ5 本手法は、異なる画像モalityおよび意味的差異（例：腫瘍の進化、コントラスト変化）に対しても一般化可能か？

主な発見

• 提案手法（PICGM：Prior Image-Constrained Generative Model）は、8倍のアンダーサンプリング条件下で、MRIおよび合成画像再構築タスクにおいて、ベースライン手法と比較して顕著に低いRMSEを達成した。
• 本手法は、事前画像と真値の間のずれに対しても頑健であり、さまざまなずれの設定においても安定した性能を維持した。
• 誤ったスタイルベクトルグループ（p1, p2）が選択された場合、中央値RMSEが約10%低下するが、依然として妥当な性能を示しており、適切なスタイル選択に敏感であるが、耐障害性を有していることが示された。
• 理論的分析により、生成モデルの潜在解におけるヤコビアンが良好に振る舞う場合、安定な再構築が保証されることを示した。これは、幻覚に対する「滑らかな失敗」の形で、安定性を提供する。
• 本手法は、スパース差分事前知識を用いた標準的圧縮センシングおよび標準的GANベース再構築を上回り、特にオブジェクトと事前画像の差がスパースでない場合に顕著な優位性を示した。
• 事前画像からの固定スタイルベクトルの使用により、腫瘍特徴やコントラスト特性といった意味的制御が可能となり、従来手法では捉えきれない意味的特徴を保持できる。