[論文レビュー] Feedback Graph Attention Convolutional Network for Medical Image Enhancement

Xiaobin Hu, Yanyang Yan+5 more|arXiv (Cornell University)|Jun 24, 2020

Advanced Image Processing Techniques参考文献 13被引用数 11

ひとこと要約

本稿では、グラフベースのグローバル構造モデリングとフィードバック精錬を活用して、MRIにおけるテクスチャの詳細を向上させるとともにアーティファクトを抑制する、医療画像増強のための新しい深層学習フレームワークであるフィードバックグラフアテンション畳み込みネットワーク（FB-GACN）を提案する。本手法は、拡散およびFLAIR MRIスキャンにおいて、スーパーレゾリューション再構成およびアーティファクト除去の分野で最先端の性能を達成している。

ABSTRACT

Artifacts, blur and noise are the common distortions degrading MRI images during the acquisition process, and deep neural networks have been demonstrated to help in improving image quality. To well exploit global structural information and texture details, we propose a novel biomedical image enhancement network, named Feedback Graph Attention Convolutional Network (FB-GACN). As a key innovation, we consider the global structure of an image by building a graph network from image sub-regions that we consider to be node features, linking them non-locally according to their similarity. The proposed model consists of three main parts: 1) The parallel graph similarity branch and content branch, where the graph similarity branch aims at exploiting the similarity and symmetry across different image sub-regions in low-resolution feature space and provides additional priors for the content branch to enhance texture details. 2) A feedback mechanism with a recurrent structure to refine low-level representations with high-level information and generate powerful high-level texture details by handling the feedback connections. 3) A reconstruction to remove the artifacts and recover super-resolution images by using the estimated sub-region correlation priors obtained from the graph similarity branch. We evaluate our method on two image enhancement tasks: i) cross-protocol super resolution of diffusion MRI; ii) artifact removal of FLAIR MR images. Experimental results demonstrate that the proposed algorithm outperforms the state-of-the-art methods.

研究の動機と目的

• MRIの取得中に画像品質を低下させる一般的な歪み、たとえばぼやけやノイズ、アーティファクトを是正すること。
• 画像の部分領域間のグローバル構造的および対称的関係を活用して、低解像度医療画像におけるテクスチャの詳細回復を向上させること。
• グラフネットワークから導出された部分領域相関事前知識を統合することで、スーパーレゾリューション再構成を向上させること。
• 高レベルの意味的情報を統合した反復的フィードバック機構を用いて、低レベル特徴を精錬すること。
• 拡散およびFLAIRシーケンスを含む、多様なMRIプロトコルに効果的に適用可能な統合フレームワークの開発。

提案手法

• 画像の部分領域をノードとみなすグラフネットワークを構築し、低解像度特徴空間における類似度によってエッジを定義することで、グローバル構造的依存関係をモデリングする。
• 構造的事前知識を提供するグラフ類似度ブランチとコンテンツブランチを並列に配置するアーキテクチャを採用し、後者においてテクスチャ強化をガイドする。
• 高レベル特徴を用いて低レベル表現を反復的に精錬する反復的フィードバック機構を導入し、より正確なテクスチャの詳細を生成する。
• グラフ類似度ブランチから推定された部分領域相関事前知識を用いて、再構成モジュールがアーティファクトを除去し、高解像度画像を回復するのをガイドする。
• 特徴の類似度に基づく非局所接続を部分領域間で活用し、固定されたカーネルサイズに依存せずに長距離依存性を捉える。
• マルチスケール特徴学習とアテンション機構を組み合わせ、強化プロセス中に関連する構造的パターンを優先的に処理する。

実験結果

リサーチクエスチョン

• RQ1 画像の部分領域間のグローバル構造的関係をモデリングすることで、低解像度MRIにおけるテクスチャの詳細回復が向上するか。
• RQ2 グラフベースの類似度事前知識を統合することで、医療画像スーパーレゾリューションにおける深層学習モデルの性能がどのように向上するか。
• RQ3 反復的フィードバック機構が、医療画像強化における特徴表現学習をどの程度向上させるか。
• RQ4 提案されたフレームワークは、拡散およびFLAIRのような異なるMRIプロトコルに一般化可能か。
• RQ5 グラフネットワークからの構造的事前知識の統合が、従来のCNNベースの手法と比較して優れたアーティファクト抑制をもたらすか。

主な発見

• 提案されたFB-GACNは、拡散MRIのクロスプロトコルスーパーレゾリューションにおいて、SOTA手法を上回り、より高いPSNRおよびSSIM値を達成した。
• FLAIR MRIにおけるアーティファクト除去において、FB-GACNはノイズとぼやけを顕著に低減し、微細な解剖的構造を保持した。
• グラフ類似度ブランチは、部分領域間で対称的かつ構造的なパターンを効果的に捉えており、テクスチャの詳細回復に寄与している。
• フィードバック機構により、高レベルの意味的文脈を用いて低レベル特徴を反復的に精錬することで、特徴表現が向上した。
• 部分領域相関事前知識の統合により、合成的および実世界のMRIデータの両方で、より正確な再構成が実現され、アーティファクトが低減した。
• アブレーションスタディの結果、グラフモデリングおよびフィードバックコンポーネントの両方が最適な性能を発揮するために不可欠であり、最終的な強化品質に顕著な寄与を示した。