[論文レビュー] Multi-modality imaging with structure-promoting regularisers

Matthias J. Ehrhardt|arXiv (Cornell University)|Jul 22, 2020

Photoacoustic and Ultrasonic Imaging参考文献 130被引用数 6

ひとこと要約

本稿では、PET-MR やマルチコントラスト MRI において、再構成品質を向上させるために、画像間の構造的類似性（特にエッジの位置と方向）を活用する構造促進正則化項を提案する。エッジに基づく類似性測定を凸な変分正則化と組み合わせることで、特にロバストで取り扱いやすい連合再構成が可能となり、シミュレーション研究でも成功が確認された。

ABSTRACT

Imaging with multiple modalities or multiple channels is becoming increasingly important for our modern society. A key tool for understanding and early diagnosis of cancer and dementia is PET-MR, a combined positron emission tomography and magnetic resonance imaging scanner which can simultaneously acquire functional and anatomical data. Similarly in remote sensing, while hyperspectral sensors may allow to characterise and distinguish materials, digital cameras offer high spatial resolution to delineate objects. In both of these examples, the imaging modalities can be considered individually or jointly. In this chapter we discuss mathematical approaches which allow to combine information from several imaging modalities so that multi-modality imaging can be more than just the sum of its components.

研究の動機と目的

• 複数モodal 画像間の構造的類似性を活用することで、マルチモdalティ画像再構成の質を向上させる課題に取り組む。
• 共有された解剖的構造を持つ第二の画像モダリティからの補助情報を取り入れることで、単一モダリティ再構成の限界を克服する。
• 複数の画像間で構造的一致性を促進する数学的に整合性のある凸正則化フレームワークを構築する。
• PET-MR やマルチコントラスト MRI、リモートセンシングなどの応用分野において、より正確で信頼性の高い画像再構成を可能にする。
• 逐次的・片側的な手法を越えた協調的マルチモダリティ画像再構成のための基盤を提供することで、共同再構成分野の最先端を前進させる。

提案手法

• 未知の画像 $ u $ をデータ $ f $ 従って前方モデル $ K $ を用いて再構成する変分逆問題を定式化する。
• 主画像 $ u $ と補助情報 $ v $ 間のエッジ位置および方向の類似性を強制する構造促進正則化項を導入する。
• エッジ集合と平行な等高線集合を用いて構造的類似性を定義し、幾何的特徴を保持する凸正則化を可能にする。
• プライマル・デュアルハイブリッド勾配（PDHG）法を用いた凸最適化により、得られた正則化問題を効率的に解く。
• 滑らかまたは滑らかでない正則化項を構築し、計算上の取り扱いやすさを保ちつつ構造的一致性を維持する。
• 解剖的または構造的一致性が期待されるマルチモダリティの状況（PET-MR やマルチコントラスト MRI、ハイパースペクトルイメージングなど）に本フレームワークを適用する。

実験結果

リサーチクエスチョン

• RQ1 複数の画像モダリティ間の構造的類似性を、画像再構成の向上に寄与するように数学的にどのようにモデル化できるか？
• RQ2 完全なアライメントを仮定せずに、エッジの位置と方向の一貫性を効果的に促進する凸正則化戦略は何か？
• RQ3 構造促進正則化項は、単一モダリティ手法と比較して、マルチモダリティ画像再構成の品質をどの程度向上させ得るか？
• RQ4 現在の片側的再構成アプローチの限界は何か？ また、計算的に実行可能で数学的に整合性のある共同再構成戦略をどのように実現できるか？
• RQ5 モダリティ間のずれ（ミスレジストレーション）は、構造的一致性を保持する変分フレームワーク内でどのように扱えるか？

主な発見

• 提案された構造促進正則化項は、PET-MR やマルチコントラスト MRI のようなモダリティ間で共有される解剖的構造を活用することで、画像再構成の質を著しく向上させた。
• PDHG を用いた解法により、マルチモダリティ正則化の複雑さにもかかわらず、計算上の取り扱いやすさを確保した。
• シミュレーション研究では、ノイズが多いまたはデータが限られた条件下でも、エッジや構造的詳細の保持が有効に確認された。
• 補助情報を利用することで、アーチファクトを引き起こさずに解像度とコントラストを向上させる点で、標準的な単一モダリティ再構成を上回った。
• RGBカラー画像、ハイパースペクトルイメージング、スペクトルCTなど、複数のモダリティへ一般化可能であり、構造的一致性が重要な特徴である分野に適用可能である。
• 強力な理論的・実験的性能にもかかわらず、ミスレジストレーションの処理や、強固な共同再構成の実現に向けた課題は残っており、実用的展開における未解決問題が浮き彫りになった。