[論文レビュー] M2MRF: Many-to-Many Reassembly of Features for Tiny Lesion Segmentation in Fundus Images

Qing Liu, Haotian Liu+2 more|arXiv (Cornell University)|Oct 30, 2021

Retinal Imaging and Analysis参考文献 45被引用数 7

ひとこと要約

本稿では、多数の特徴量を広範囲の領域から同時に複数のターゲット特徴量に集約することで、長距離の空間的依存関係を捉えることで、網膜画像における微小病変のセグメンテーションを向上させるM2MRFという、多対多の特徴量再編成フレームワークを提案する。DDRおよびIDRiDベンチマークにおいて顕著に性能向上を示し、CNNベースおよび最近のトランスフォーマー基盤の手法を上回り、特に小さな凝集病変の検出において優れた性能を発揮する。

ABSTRACT

Feature reassembly is an essential component in modern CNN-based segmentation approaches, which includes feature downsampling and upsampling operators. Existing operators reassemble multiple features from a small predefined region into one for each target location independently. This may result in loss of spatial information, which could vanish activations caused by tiny lesions particularly when they cluster together. In this paper, we propose a many-to-many reassembly of features (M2MRF). It reassembles features in a dimension-reduced feature space and simultaneously aggregates multiple features inside a large predefined region into multiple target features. In this way, long range spatial dependencies are captured to maintain activations on tiny lesions. Experimental results on two lesion segmentation benchmarks, i.e. DDR and IDRiD, show that (1) our M2MRF outperforms existing feature reassembly operators; (2) equipped with our M2MRF, the HRNetv2 is able to achieve significant better performance to CNN-based segmentation methods and competitive even better performance to two recent transformer-based segmentation methods. Our code is made publicly available at https://github.com/CVIU-CSU/M2MRF-Lesion-Segmentation.

研究の動機と目的

• 既存の特徴量再編成演算子が空間的文脈が限られているため、網膜画像における微小で凝集した病変のセグメンテーションに課題が生じるのを解決すること。
• CNNにおける従来の多対一の特徴量ダウンサンプリングおよびアップサンプリングによって引き起こされる微小病変の活性化の消失問題を克服すること。
• 長距離の空間的依存関係を捉えることのできる、特徴量ダウンサンプリングとアップサンプリングを統合したフレームワークを構築すること。
• モデルの複雑さを著しく増加させることなく、病変セグメンテーションベンチマークでの性能を向上させること。

提案手法

• M2MRFは、大規模な事前に定義された領域から複数の特徴量を同時に複数のターゲット特徴量に集約することで、次元削減された空間で特徴量を再編成する。
• 重要度重み付けカーネルを用いて、大規模な局所領域内の特徴量に動的 relevance スコアを割り当て、微細な活性化を強化する。
• ダウンサンプリングおよびアップサンプリングの両ステージで動作し、1段階またはカスケードの変種を設定可能として柔軟性を提供する。
• 標準的な多対一のRF演算子を多対多の再編成メカニズムに置き換え、長距離の依存関係にわたる空間的文脈を保持する。
• プラグアンドプレイであり、HRNetV2などの既存のCNNアーキテクチャと互換性があり、パラメータの追加が最小限に抑えられる。
• エンドツーエンドで学習可能であり、任意の特徴量再編成を必要とするセグメンテーションパイプラインに統合可能である。

実験結果

リサーチクエスチョン

• RQ1 従来の多対一の演算子と比較して、多対多の特徴量再編成機構は、網膜画像における微小で凝集した病変の検出を向上させることができるか？
• RQ2 大規模領域への集約によって長距離の空間的依存関係を捉えることで、ダウンサンプリングおよびアップサンプリング中に微細な小さな病変の活性化を保持するのに役立つだろうか？
• RQ3 M2MRFは、モデルの複雑さを増加させることなく、病変セグメンテーションベンチマークでの性能を向上させることができるか？
• RQ4 M2MRFは、微小病変セグメンテーションタスクにおいて、最先端のCNNおよびトランスフォーマー基盤のセグメンテーションモデルと比較してどうなるか？

主な発見

• M2MRF-C（カスケードダウンサンプリング、1段階アップサンプリング）はIDRiDで最高の性能を示し、mIoUが49.94%、mFが65.71%、mAUPRが67.24%を達成した。
• M2MRF-Cは、最近のトランスフォーマー基盤の手法であるSwin-baseをmIoUで1.58%、mFで1.67%、mAUPRで2.33%上回った。
• M2MRFを搭載したHRNetV2は、元のHRNetV2に比べ、IDRiDでAUPRで4%以上、Fスコアで5%以上、IoUで4%以上の向上を達成した。
• 本手法は、微小動脈瘤や小さな漏出病変を含む、すべての病変タイプにおいて一貫して性能向上を示した。
• ルールベースのRF演算子（例：MaxPool/Bilinear）が学習ベースのものよりも優れていたため、小さな受容野からの学習に限界があることが示唆された。
• 定性的な結果では、M2MRFの変種が、他の手法が見逃したり誤って特定したりした挑戦的な病変を正しくセグメンテーションしていた。