[論文レビュー] SAINT: Spatially Aware Interpolation NeTwork for Medical Slice Synthesis

Cheng Peng, Wei-An Lin+3 more|arXiv (Cornell University)|Jan 3, 2020

Advanced Image Processing Techniques参考文献 19被引用数 7

ひとこと要約

SAINTは、アノトロピーなメタインタポレーションを用いた2次元畳み込みニューラルネットワーク（2D CNN）を活用し、任意のアップサンプリング要因に対応するとともにメモリ使用量を削減する空間的に注意を払った補間ネットワークを提案する。4つのCTデータセットにおいて、再訓練を必要とせず、PSNRおよびSSIMの両面で既存のSISR手法を著しく上回り、高品質な詳細再構築を維持する。

ABSTRACT

Deep learning-based single image super-resolution (SISR) methods face various challenges when applied to 3D medical volumetric data (i.e., CT and MR images) due to the high memory cost and anisotropic resolution, which adversely affect their performance. Furthermore, mainstream SISR methods are designed to work over specific upsampling factors, which makes them ineffective in clinical practice. In this paper, we introduce a Spatially Aware Interpolation NeTwork (SAINT) for medical slice synthesis to alleviate the memory constraint that volumetric data poses. Compared to other super-resolution methods, SAINT utilizes voxel spacing information to provide desirable levels of details, and allows for the upsampling factor to be determined on the fly. Our evaluations based on 853 CT scans from four datasets that contain liver, colon, hepatic vessels, and kidneys show that SAINT consistently outperforms other SISR methods in terms of medical slice synthesis quality, while using only a single model to deal with different upsampling factors.

研究の動機と目的

• 体積的医療画像における3次元スーパーレゾリューション（SISR）におけるメモリのボトルネックを解消すること、特にアノトロピーなCTおよびMRデータに特化して。
• 再訓練を必要とせず、任意のアップサンプリング要因を処理できる1つのモデルを実現することで、臨床応用の柔軟性を向上させること。
• ボクセル間隔という空間的解像度情報を補間プロセスに組み込むことで、解剖学的詳細の回復を向上させること。
• 2次元ベースの処理と3次元コンテキスト統合を活用することで、パッチベースの3次元SISR手法に起因するステッチアーチファクトを排除すること。
• 多様な解剖的構造および未知のデータセットにわたって高い性能を維持できる、軽量でスケーラブルなフレームワークの開発。

提案手法

• SAINTは2段階のパイプラインを採用する：まず、ボクセル間隔を考慮し、任意の整数アップサンプリング要因をサポートするフィルタ生成メタネットワークを用いて、2次元ベースのスライス間補間を実行するアノトロピー的メタインタポレーション（AMI）を実施する。
• AMIは、メタ-SRと比較して、ピクセルごとのフィルタ生成を回避し、グローバルな画像全体の投影を用いることで、顕著に低いメモリオーバーヘッドを実現する。
• 次に、残差統合ネットワーク（RFN）が、第3次元に沿ってAMIの出力を統合し、3次元コンテキストを精緻にし、2次元処理に起因する不一致を低減する。
• RFNは残差学習を用いることで、微細な詳細再構築を強化し、安定的かつ高速な収束を確保する。
• モデルは、構造的忠実性を保ちながらアーチファクトを低減するため、知覚的損失とL1損失を用いてエンドツーエンドで訓練される。
• フレームワークはスケーラブルに設計されており、メモリの爆発を引き起こさずに、より深くまたは広いアーキテクチャへの拡張が可能である。

実験結果

リサーチクエスチョン

• RQ1 2次元ベースのSISR手法は、3次元パッチベースネットワークに起因するメモリおよびアーチファクト問題を回避しながら、競争力ある3次元医療スライス合成性能を達成できるか？
• RQ2 1つのディープラーニングモデルが、再訓練を必要とせず、複数のアップサンプリング要因（例：×4、×6）を一括して処理できるか？
• RQ3 補間プロセスにボクセル間隔情報を組み込むことで、アノトロピーな医療ボリュームにおける解剖学的詳細の回復が向上するか？
• RQ4 多様な腹部CT構造において、SAINTは最新のSISR手法と比較してPSNR、SSIM、視覚的品質の面で優れているか？
• RQ5 SAINTは、トレーニングに使用されていないデータセット（例：トレーニングに使われなかった腎臓データ）に対しても、性能の劣化なしに一般化できるか？

主な発見

• 肝臓、大腸、肝動脈、腎臓の4つのCTデータセットにおいて、SAINTは全アップサンプリング要因で最高のPSNRおよびSSIMスコアを達成し、×4では34.91/0.9603、×6では32.49/0.9395のスコアを記録した。
• 肝臓および肝動脈データセットにおいて、SAINTは3D MDSR、mDCSRN、3D RDNを×4で1.2–2.0 dB上回り、優れた詳細再構築性能を示した。
• 視覚的比較では、SAINTは構造的アーチファクトが少なく、特に脊椎や血管樹形構造のような複雑な構造において豊富な解剖学的詳細を再構築していた。
• トレーニングデータに含まれなかった腎臓データセットに対しても、SAINTは安定した性能を維持し、強力な一般化能力を示した。
• わずか293万パラメータで最先端の結果を達成しており、マルチステージ設計にもかかわらず、高い効率性とスケーラビリティを示した。
• AMIのフィルタ生成メカニズムは、因子依存のフィルタ生成に起因する性能劣化を示すメタ-SRと比較して、未確認のアップサンプリング要因に対してもより安定していた。