[論文レビュー] Dual-Octave Convolution for Accelerated Parallel MR Image Reconstruction

Chun-Mei Feng, Zhanyuan Yang+3 more|arXiv (Cornell University)|Apr 12, 2021

Advanced MRI Techniques and Applications被引用数 4

ひとこと要約

本論文は、複数の空間周波数で実部および虚部のMR画像成分を処理する、加速された並列MRI再構成のための新しい深層学習手法であるデュアル・オクターブ畳み込み（Dual-OctConv）を提案する。特徴量を高周波数および低周波数サブバンドに分解し、グループ内およびグループ間の情報交換を可能にすることで、空間冗長性を低減しつつマルチスケールの文脈的表現を捉える。その結果、計算コストを抑えながら最先端の再構成品質を達成した。

ABSTRACT

Magnetic resonance (MR) image acquisition is an inherently prolonged process, whose acceleration by obtaining multiple undersampled images simultaneously through parallel imaging has always been the subject of research. In this paper, we propose the Dual-Octave Convolution (Dual-OctConv), which is capable of learning multi-scale spatial-frequency features from both real and imaginary components, for fast parallel MR image reconstruction. By reformulating the complex operations using octave convolutions, our model shows a strong ability to capture richer representations of MR images, while at the same time greatly reducing the spatial redundancy. More specifically, the input feature maps and convolutional kernels are first split into two components (i.e., real and imaginary), which are then divided into four groups according to their spatial frequencies. Then, our Dual-OctConv conducts intra-group information updating and inter-group information exchange to aggregate the contextual information across different groups. Our framework provides two appealing benefits: (i) it encourages interactions between real and imaginary components at various spatial frequencies to achieve richer representational capacity, and (ii) it enlarges the receptive field by learning multiple spatial-frequency features of both the real and imaginary components. We evaluate the performance of the proposed model on the acceleration of multi-coil MR image reconstruction. Extensive experiments are conducted on an {in vivo} knee dataset under different undersampling patterns and acceleration factors. The experimental results demonstrate the superiority of our model in accelerated parallel MR image reconstruction. Our code is available at: github.com/chunmeifeng/Dual-OctConv.

研究の動機と目的

• 標準的な畳み込みがマルチスケールおよびマルチ周波数表現に不十分である点を是正する。
• 既存の複素数畳み込み手法における高い空間冗長性と限られた受容 field を克服する。
• さまざまなアンダーサンプリングパターンおよび加速係数において、再構成精度と耐障害性を向上させる。
• 深層ニューラルネットワークフレームワークに多周波数処理を統合することで、マルチコイルMR画像再構成の効率的かつエンドツーエンドの学習を可能にする。

提案手法

• 入力特徴マップおよび畳み込みカーネルを実部と虚部に分解する。
• 各成分（実部／虚部）を空間周波数帯域（高周波数および低周波数サブバンド）に基づいて4つのグループに分割する。
• 各周波数グループ内での特徴量の更新を実行し、グループ内での特徴を精緻化する。
• 異なる周波数帯間でのグループ間情報交換を実施し、文脈的情報を集約する。
• 学習可能な統合メカニズムを用いて、複数の空間周波数における実部および虚部を統合する。
• マルチスケール・マルチ周波数アーキテクチャを採用し、有効な受容 field を拡大するとともに、空間冗長性を低減する。

実験結果

リサーチクエスチョン

• RQ1 マルチスケールの空間周波数表現学習は、加速された並列MRI再構成の品質向上に寄与するか？
• RQ2 複数の周波数帯域で実部および虚部を同時に処理することは、再構成精度およびアーチファクト低減にどのような影響を与えるか？
• RQ3 複素数値MRI再構成において、パフォーマンスと計算効率のバランスを最適化するための空間周波数比（α）の最適値は何か？
• RQ4 デュアル・オクターブ畳み込みは、標準的な複素数畳み込みおよび通常の畳み込みと比較して、再構成忠実度およびFLOPsの点でどのように差をつけるか？
• RQ5 提案手法は、1次元均等、2次元ラジアル、2次元ランダムなどの多様なアンダーサンプリングパターンおよび加速係数に一般化可能か？

主な発見

• デュアル・オクターブ畳み込みは、全テスト加速係数およびアンダーサンプリングパターンにおいて優れた再構成性能を達成し、ベースラインモデル比で最大1.2 dBのPSNR向上を達成した。
• α = 0.125のとき、SSIMが最高の0.948を記録し、マルチ周波数表現と情報保持の最適なバランスを示した。
• α = 0.125のとき、ベースライン複素数畳み込み（α = 0）と比較してFLOPsを38％削減しながら、PSNRおよびSSIMが向上した。
• アブレーションスタディの結果、デュアル・オクターブ畳み込みは標準的な複素数畳み込み（α = 0）を著しく上回り、特にSSIMの観点でマルチ周波数学習の利点が明確に示された。
• 10個のデュアル・オクターブ畳み込みブロック（bn = 10）を搭載したモデルが、ピークの再構成精度を達成したが、それ以上に増加させると利得が減少し、計算コストが上昇した。
• 1次元均等、2次元ラジアル、2次元ランダムマスクなどの多様なアンダーサンプリングパターンにおいて、強い耐障害性を示し、再構成画像に最小限のアーチファクトと明確な構造的詳細が得られた。