[論文レビュー] Blind Image Quality Assessment for MRI with A Deep Three-dimensional content-adaptive Hyper-Network

Kehan Qi, Haoran Li+5 more|arXiv (Cornell University)|Jul 13, 2021

Image and Video Quality Assessment参考文献 35被引用数 4

ひとこと要約

本稿では、3D空間的特徴と動的に生成されるネットワークパラメータを活用して性能を向上させる、盲目的なMRI画像品質評価のための3Dコンテンツ適応型ハイパーネットワークであるHyS-Netを提案する。3Dバックボーンとコンテンツに適応するハイパーネットワークを統合することで、MRIQCデータセットにおいてSROCC（0.7566）とPLCC（0.8231）の最先端性能を達成し、既存手法と顕著な差をつける。

ABSTRACT

Image Quality Assessment (IQA) is of great value in the workflow of Magnetic Resonance Imaging (MRI)-based analysis. Blind IQA (BIQA) methods are especially required since high-quality reference MRI images are usually not available. Recently, many efforts have been devoted to developing deep learning-based BIQA approaches. However, the performance of these methods is limited due to the utilization of simple content-non-adaptive network parameters and the waste of the important 3D spatial information of the medical images. To address these issues, we design a 3D content-adaptive hyper-network for MRI BIQA. The overall 3D configuration enables the exploration of comprehensive 3D spatial information from MRI images, while the developed content-adaptive hyper-network contributes to the self-adaptive capacity of network parameters and thus, facilitates better BIQA performance. The effectiveness of the proposed method is extensively evaluated on the open dataset, MRIQC. Promising performance is achieved compared with the corresponding baseline and 4 state-of-the-art BIQA methods. We make our code available at \url{https://git.openi.org.cn/SIAT_Wangshanshan/HyS-Net}.

研究の動機と目的

• MRI分野における既存の盲目的画像品質評価（BIQA）手法の限界、特に3D空間的情報の活用不足と非適応的ネットワークパラメータの問題を解決すること。
• 画像コンテンツに応じて変化するコンテンツ適応型ネットワークパラメータを導入することで、モデルの予測と人的評価のギャップを埋めること。
• 3D空間的構造を効果的に活用する深層学習ベースのBIQAフレームワークを構築すること。
• 大規模なオープンなMRIデータセット上で提案手法を評価し、最先端のアプローチを上回ることを実証すること。

提案手法

• 3D MRIボリュームからの包括的な空間的特徴を抽出するために、3D畳み込みニューラルネットワークバックボーンが用いられ、ボリューム特徴を保持する。
• 入力画像のコンテンツに基づいて動的でタスク固有のネットワーク重みを生成するコンテンツ適応型ハイパーネットワークが導入され、自己適応的パラメータチューニングを実現する。
• ハイパーネットワークはMRIボリュームからのグローバルコンテキスト埋め込みを入力とし、回帰ヘッドの重みを生成することで、コンテンツに適応した適応性を確保する。
• 教師なしの参照画像なしで歪んだMRIスキャンからの品質スコアを予測するために、回帰損失を用いてエンドツーエンドでモデルを訓練する。
• 3D空間的特徴抽出の活用により、MRI品質評価に不可欠なスライス間およびボリューム内関係を捉えることが可能になる。
• 生成された重みの主成分分析（PCA）により、ハイパーネットワークのコンテンツ適応性が確認され、異なる画像コンテンツに対して明確に異なる重みパターンが得られることが示された。

実験結果

リサーチクエスチョン

• RQ1 3D空間的認識アーキテクチャは、ボリュームコンテキストを無視する2Dアプローチと比較して、盲目的なMRI画像品質評価を向上させることができるか？
• RQ2 画像コンテンツに基づいて動的パラメータを生成するコンテンツ適応型ハイパーネットワークは、BIQAにおいて人的評価とより良い一致を達成できるか？
• RQ3 3D空間的特徴とコンテンツ適応型重み生成の統合が、BIQA性能にどのように寄与するか？
• RQ4 提案手法は、実際のMRIデータにおいて、既存の最先端BIQAモデルをどの程度上回るか？

主な発見

• HyS-Netは、MRIQCデータセットでスピアマン順位相関係数（SROCC）0.7566およびピアソン線形相関係数（PLCC）0.8231を達成し、比較されたすべての手法を上回った。
• アブレーションスタディにより、3D空間的特徴抽出器とコンテンツ適応型ハイパーネットワークの組み合わせが最大の性能向上をもたらし、ベースラインと比較してSROCCが0.0243向上した。
• 3D空間的特徴なしにコンテンツ適応型ハイパーネットワークを導入した場合、性能向上はわずかまたは逆に低下する傾向にあり、3Dコンテキストが効果的な適応に不可欠であることが示された。
• PCAによる生成重みの可視化により、ハイパーネットワークが画像コンテンツに依存した明確な重みパターンを生成することが確認され、コンテンツ適応性の有効性が裏付けられた。
• ResNet-50バックボーンを用いたモデルは、3D空間的特徴とハイパーネットワークを併用することで、ResNet-18よりもわずかに優れた性能を示したが、アダプティブなコンponentが欠落していると、深層ネットワーク自体が性能を低下させる傾向にあった。
• 4つの最先端手法（BRISQUE、DBCNN、deepIQA、Two Stream CNN）と比較して、HyS-NetはSROCCが0.0307高く、PLCCが0.0234高い結果を得ており、優れた性能を確認した。