[論文レビュー] CoIL: Coordinate-based Internal Learning for Imaging Inverse Problems

Yu Sun, Jiaming Liu+3 more|arXiv (Cornell University)|Feb 9, 2021

Medical Imaging Techniques and Applications参考文献 96被引用数 18

ひとこと要約

CoILは、座標入力（例：視野角や検出器位置）をセンサ応答にマッピングする多層パーセプトロン（MLP）を用いて、撮影逆問題における全測定フィールドの連続的表現を学習する自己教師付き深層学習手法を提案する。テストオブジェクト自身の疎でノイジーな測定値のみを用いて訓練することで、多様な手法（モデルベースおよび深層学習ベースの手法を含む）において顕著に向上した再構成品質を実現する高精細な全視野のサイノグラムを生成する。この手法は、疎視野CTにおいて顕著な性能向上を達成する。

ABSTRACT

We propose Coordinate-based Internal Learning (CoIL) as a new deep-learning (DL) methodology for the continuous representation of measurements. Unlike traditional DL methods that learn a mapping from the measurements to the desired image, CoIL trains a multilayer perceptron (MLP) to encode the complete measurement field by mapping the coordinates of the measurements to their responses. CoIL is a self-supervised method that requires no training examples besides the measurements of the test object itself. Once the MLP is trained, CoIL generates new measurements that can be used within a majority of image reconstruction methods. We validate CoIL on sparse-view computed tomography using several widely-used reconstruction methods, including purely model-based methods and those based on DL. Our results demonstrate the ability of CoIL to consistently improve the performance of all the considered methods by providing high-fidelity measurement fields.

研究の動機と目的

• 1つのオブジェクトの測定値に内在する自己相関を利用した自己教師付き深層学習手法を開発し、高精細な測定フィールド再構成を実現すること。
• 外部トレーニングデータセットを排除し、テストオブジェクト自身の疎でノイジーな測定値のみに依存して訓練すること。
• モデルベースおよび深層学習ベースの技術を含む、幅広い画像再構成手法との相乗的統合を可能にすること。
• 座標ベースのニューラル表現が、コンputedトモグラフィーにおける撮影逆問題を効果的にモデル化・強化できることを示すこと。

提案手法

• 多層パーセプトロン（MLP）を訓練し、測定座標（例：視野角θおよび検出器位置l）をセンサ応答rにマッピングさせることで、全測定フィールドの連続的表現を形成する。
• MLPは、テストオブジェクトの実際の測定値から抽出した座標-応答ペアを用いて訓練されるため、自己教師付きかつデータ効率的である。
• わずか256個の隠れニューロンを有する新しいMLPアーキテクチャを採用しており、そのコンactなサイズにもかかわらず、効率的な訓練とデプロイメントを可能にしている。
• 訓練されたMLPは、任意の座標でネットワークにクエリを送ることで、高解像度で全視野のサイノグラムを生成する。得られたサイノグラムは、標準の再構成アルゴリズムの入力として利用可能である。
• このアプローチは、モデルベース手法（例：FBP、FISTA-TV）および深層学習ベース手法（例：FBP-UNet、GM-RED）の両方と互換性があり、向上した測定入力を提供する。
• 線形展開に基づくFFMレイヤーを用いて訓練を安定化させ、学習済み測定フィールドの品質を向上させている。

実験結果

リサーチクエスチョン

• RQ1 座標ベースのニューラル表現は、テストオブジェクト自身の疎でノイジーな測定値のみから、高精細な連続的測定フィールドを学習できるか？
• RQ2 入力データの視点数やノイズレベルの変化に伴い、再構成された測定フィールドの品質はどのように変化するか？
• RQ3 生成された測定フィールドは、多様な再構成アルゴリズム全体にわたり、画像再構成性能をどの程度向上できるか？
• RQ4 提案手法は、モデルベースおよび深層学習ベースの再構成フレームワークの両方において一貫して性能を向上させることができるか？

主な発見

• CoILが生成したサイノグラムは、常に入力測定値よりも高いSNRを達成しており、30 dBの入力SNRであっても、すべての視点数において7 dBを超える向上が確認された。
• 60視点、30 dB入力SNRのFBPにおいて、CoILは再構成SNRを最大20 dB向上させ、高ノイズ条件下でも顕著な性能向上を示した。
• 低ノイズ（50 dB入力SNR）でも、CoILは測定可能な改善をもたらした：FBP-UNetはCoILが生成した測定値を使用することで1.02 dBのSNR向上を達成した。
• 視覚的比較では、特にボックスで囲まれた領域や矢印で示された部分において、構造的詳細が明確に強化され、アーチファクトが顕著に低減されていることが確認された。
• 本手法は、モデルベース（例：FBP、FISTA-TV）および深層学習ベース（例：FBP-UNet、GM-RED）の全テスト再構成アルゴリズムを相乗的に向上させ、広範な互換性と有効性を示した。
• CoILが生成する測定フィールドの品質は、視点数が増加するか、ノイズレベルが低下するにつれて向上する傾向にあり、入力条件に対するスケーラビリティとロバストネスを示している。