[論文レビュー] FreMIM: Fourier Transform Meets Masked Image Modeling for Medical Image Segmentation

Wenxuan Wang, Jing Wang+5 more|arXiv (Cornell University)|Apr 21, 2023

Radiomics and Machine Learning in Medical Imaging被引用数 5

ひとこと要約

FreMIMは、周波数ドメインにおけるマスキング画像モデリングを活用することで、生のピクセルの代わりに欠落した周波数成分を再構築する、医療画像セグメンテーションのための新しい自己教師あり事前学習フレームワークを提案する。低周波数の意味的特徴と高周波数の詳細情報を段階的な監視によって活用することで、限られたデータで3つのベンチマークデータセットにおいて、教師ありベースライン比で平均Diceスコアを最大+1.15%向上させた、最先端の性能を達成した。

ABSTRACT

The research community has witnessed the powerful potential of self-supervised Masked Image Modeling (MIM), which enables the models capable of learning visual representation from unlabeled data. In this paper, to incorporate both the crucial global structural information and local details for dense prediction tasks, we alter the perspective to the frequency domain and present a new MIM-based framework named FreMIM for self-supervised pre-training to better accomplish medical image segmentation tasks. Based on the observations that the detailed structural information mainly lies in the high-frequency components and the high-level semantics are abundant in the low-frequency counterparts, we further incorporate multi-stage supervision to guide the representation learning during the pre-training phase. Extensive experiments on three benchmark datasets show the superior advantage of our FreMIM over previous state-of-the-art MIM methods. Compared with various baselines trained from scratch, our FreMIM could consistently bring considerable improvements to model performance. The code will be publicly available at https://github.com/Rubics-Xuan/FreMIM.

研究の動機と目的

• 医療画像におけるグローバルな文脈とローカルな詳細の両方を捉えることが難しい、従来のマスキング画像モデリング（MIM）手法の限界を解決すること。
• 周波数ドメインの事前知識を活用することで、データが限られる状況下でも医療画像セグメンテーションの表現学習を向上させること。
• 異なる周波数帯域にわたる特徴学習をガイドする段階的な監視戦略を開発すること。
• 自己教師あり事前学習における周波数ドメイン再構築がピクセル空間再構築よりも優れていることを実証すること。
• データ効率的な環境下で、前景のみのマスキングと最適なハイパーパramータ選択の有効性を検証すること。

提案手法

• 空間ドメインでランダムに選択された前景ピクセルをマスクし、生のピクセルの代わりにその対応するフーリエスペクトルを再構築する。
• フーリエスペクトルにローパスフィルタとハイパスフィルタを適用し、低周波数（グローバル）および高周波数（ローカルディテール）成分を抽出して段階的監視を実施する。
• 両側アグリゲーションデコーダーが、低周波数および高周波数成分それぞれの別々のヘッドを用いて、完全なフーリエスペクトルを再構築する。
• 周波数ドメインでのマスキング再構築損失を用いてモデルを事前学習し、動的損失重み付けと周波数帯域しきい値処理を実施する。
• 事前学習済みエンコーダーを、標準的なクロスエントロピー損失とDice損失を用いて、下流のセグメンテーションタスクで微調整する。
• 静的マスキング比0.25が最適であると特定され、損失重みと周波数パスバンドの選択についてのアブレーションスタディにより妥当性が検証された。

実験結果

リサーチクエスチョン

• RQ1 生のピクセルの代わりにフーリエスペクトルを再構築することで、医療画像セグメンテーションの表現学習が向上するか？
• RQ2 低周波数および高周波数成分に対する段階的監視は、単一段階の再構築と比較してモデル性能を向上させるか？
• RQ3 表現品質とデータ効率の観点から、前景のみのマスキングはランダムパッチマスキングと比較して優れているか？
• RQ4 周波数ドメインでの事前学習において、最適なマスキング比と周波数帯域しきい値は何か？
• RQ5 FreMIMは最小限のラベル付きデータで優れた性能を達成でき、医療画像処理におけるデータ効率性を示せるか？

主な発見

• FreMIMは、BraTS2020データセットで平均Diceスコア84.59%を達成し、教師ありベースライン比で+1.15%の向上を示した。
• 事前学習に1つのトレーニングサンプルのみを用いても、平均Diceスコアが+0.61%向上した。これは、極めて高いデータ効率性を示している。
• 最適なマスキング比は0.25であり、それより高いか低い比では、再構築タスクが難しすぎたり簡単すぎたりして性能が低下する。
• 損失重みα = 3および周波数パスバンドしきい値PB = 10が最良の結果をもたらし、アブレーションスタディによりその有効性が確認された。
• 段階的監視戦略は性能向上に顕著な効果を示し、特にBraTSのETおよびTC構造で最も顕著な向上が観察された。
• FreMIMは、3つのベンチマークデータセットすべてにおいて、以前の最先端MIM手法を上回り、表現学習における優位性を確認した。