[論文レビュー] M2U-Net: Effective and Efficient Retinal Vessel Segmentation for Resource-Constrained Environments

Tim Laibacher, Tillman Weyde+1 more|arXiv (Cornell University)|Nov 19, 2018

Retinal Imaging and Analysis参考文献 38被引用数 28

ひとこと要約

M2U-Net は、エンコーダーで事前学習済みの MobileNetV2 特徴を組み込み、デコーダーで新規の収縮バッテリー・ブロックを採用する軽量で効率的なニューラルネットワークであり、CHASE_DB1 および HRF で最先端の性能を達成している。パラメータ数は 0.55M に削減され、高解像度画像（GPU で 19.9ms、ARM で 14.7s）においてリアルタイム推論が可能である。

ABSTRACT

In this paper, we present a novel neural network architecture for retinal vessel segmentation that improves over the state of the art on two benchmark datasets, is the first to run in real time on high resolution images, and its small memory and processing requirements make it deployable in mobile and embedded systems. The M2U-Net has a new encoder-decoder architecture that is inspired by the U-Net. It adds pretrained components of MobileNetV2 in the encoder part and novel contractive bottleneck blocks in the decoder part that, combined with bilinear upsampling, drastically reduce the parameter count to 0.55M compared to 31.03M in the original U-Net. We have evaluated its performance against a wide body of previously published results on three public datasets. On two of them, the M2U-Net achieves new state-of-the-art performance by a considerable margin. When implemented on a GPU, our method is the first to achieve real-time inference speeds on high-resolution fundus images. We also implemented our proposed network on an ARM-based embedded system where it segments images in between 0.6 and 15 sec, depending on the resolution. Thus, the M2U-Net enables a number of applications of retinal vessel structure extraction, such as early diagnosis of eye diseases, retinal biometric authentication systems, and robot assisted microsurgery.

研究の動機と目的

• モバイルおよび組み込みデバイスへのデプロイに適した、軽量で高パフォーマンスなニューラルネットワークを、網膜血管セグメンテーション用に開発すること。
• 高い計算リソースを要する既存のモデルがリアルタイム処理やプライバシーが重要な応用に不適切であるという問題を解決すること。
• ベンチマークデータセットで最先端のセグメンテーション精度を達成するとともに、モデルサイズと推論時間を大幅に削減すること。
• モデルをデバイス上に直接デプロイすることで、早期疾患診断、網膜バイオメトリクス、ロボット支援マイクロサージャリーなどの実世界応用を可能にすること。

提案手法

• M2U-Net は、事前学習済みの MobileNetV2 ブロックをエンコーダーに用いた、U-Net を模したエンコーダー・デコーダー構造を採用し、効率的な特徴抽出を実現している。
• デコーダーに新規の収縮バッテリー・ブロックを導入し、パラメータ数を削減しながらも高い特徴表現能力を維持している。
• 双方向補間とスキップ接続を組み合わせることで、空間解像度を保持し、セグメンテーション精度を向上させている。
• パラメータ数と計算負荷を最小限に抑えるために、深度分離畳み込みとストライド付きバッテリー・ブロックを用いている。
• 低メモリおよび処理リソース要件に最適化されたアーキテクチャであり、ARM ベースの組み込みシステムへのデプロイが可能である。
• モデルは統合損失関数を用いてエンドツーエンドで学習され、モデル量子化とハードウェアに最適化された最適化により推論が高速化されている。

実験結果

リサーチクエスチョン

• RQ1 軽量なニューラルネットワークは、モバイルおよび組み込みデバイスにデプロイ可能である一方で、網膜血管セグメンテーションにおいて最先端の性能を達成できるか？
• RQ2 事前学習済みの MobileNetV2 コンponent を統合することで、パラメータ増加を最小限に抑えながら、網膜血管セグメンテーションにおける特徴学習がどのように向上するか？
• RQ3 高解像度の網膜画像におけるモデル効率（パラメータ数、推論時間）とセグメンテーション精度のトレードオフは何か？
• RQ4 提案されたアーキテクチャは、高解像度の網膜画像（例：2336×3504）に対して、精度を損なわずにリアルタイム推論を達成できるか？
• RQ5 サーバー用 GPU 実装と比較して、エネルギー効率および消費電力の面でモデルはどのように性能を発揮するか？

主な発見

• CHASE_DB1 では、M2U-Net が 0.8006 の新しい最先端の Dice スコアを達成し、従来手法を大きく上回った。
• HRF では、M2U-Net が Dice スコア 0.7814 を達成し、GPU で 19.9ms の推論時間で初めてリアルタイム推論を達成した。
• Rockchip RK3399 SoC 上では、M2U-Net が高解像度画像を 14.7 秒でセグメンテーションし、組み込みデプロイの可能性を実証した。
• モデルのパラメータ数は 0.55M にまで削減され、元の U-Net（31.03M）と比較して 14 倍の削減が達成され、低消費電力デバイスへのデプロイが可能になった。
• ARM プラットフォーム上での消費電力は 9.6W であり、サーバー用 GPU（200W 以上）と比較して顕著に低く抑えられ、プライバシーとエネルギー効率が向上した。
• アブレーションスタディにより、t < 1 の収縮バッテリー・ブロックが性能を劣化させることなくパラメータ数を削減することが確認され、アーキテクチャの効率性が裏付けられた。