[論文レビュー] Retina U-Net: Embarrassingly Simple Exploitation of Segmentation Supervision for Medical Object Detection

Paul F. Jaeger, Simon Köhl+5 more|arXiv (Cornell University)|Nov 21, 2018

Advanced Neural Network Applications参考文献 22被引用数 99

ひとこと要約

Retina U-Net は高解像度レベルを用いてトップダウン経路を拡張することにより RetinaNet ベースの1段検出器に全てのセマンティックセグメンテーション監視を追加し、医用画像でのエンドツーエンドのオブジェクトスコアリングを可能にし、限られたデータで検出を改善します。

ABSTRACT

The task of localizing and categorizing objects in medical images often remains formulated as a semantic segmentation problem. This approach, however, only indirectly solves the coarse localization task by predicting pixel-level scores, requiring ad-hoc heuristics when mapping back to object-level scores. State-of-the-art object detectors on the other hand, allow for individual object scoring in an end-to-end fashion, while ironically trading in the ability to exploit the full pixel-wise supervision signal. This can be particularly disadvantageous in the setting of medical image analysis, where data sets are notoriously small. In this paper, we propose Retina U-Net, a simple architecture, which naturally fuses the Retina Net one-stage detector with the U-Net architecture widely used for semantic segmentation in medical images. The proposed architecture recaptures discarded supervision signals by complementing object detection with an auxiliary task in the form of semantic segmentation without introducing the additional complexity of previously proposed two-stage detectors. We evaluate the importance of full segmentation supervision on two medical data sets, provide an in-depth analysis on a series of toy experiments and show how the corresponding performance gain grows in the limit of small data sets. Retina U-Net yields strong detection performance only reached by its more complex two-staged counterparts. Our framework including all methods implemented for operation on 2D and 3D images is available at github.com/pfjaeger/medicaldetectiontoolkit.

研究の動機と目的

• ピクセル単位のセグメンテーション監視を最大限に活用する医用物体検出の改善を動機づける。
• セグメンテーション信号を組み込んだ1段検出をエンドツーエンドで統合する、シンプルなアーキテクチャを提案する。
• 2D/3Dの医用データセットで手法を評価し、データ効率と頑健性を分析する。
• 重み付きボックスクラスタリングを介した複数予測の統合に関する実用的な指針を提供する。

提案手法

• 小さな医用物体に適応したFPN特徴を持つ基盤の1段検出器として Retina Net を使用する（P2〜P5 へシフト）。
• トップダウン経路を追加の高解像度レベル P1 および P0 で拡張し、完全なセマンティックセグメンテーション（U-FPN）を学習する。
• セグメンテーション出力に対してピクセル単位クロスエントロピーとソフトDice損失を含む結合損失で学習する。
• 粗いピラミッドレベル上の検出ヘッドを保持しつつ、P0 ロジットを介したセグメンテーション監視を有効にする（補助タスク）。
• アンサンブル/パッチからの複数の予測を統合して頑健な物体レベルの検出にするため、Weighted Box Clustering を導入する（式2）。
• 広範な2Dおよび3D実験を実施し、アブレーションを含めて1段検出器と2段検出器の双方と比較する。

実験結果

リサーチクエスチョン

• RQ1 1段検出器で全セグメンテーション監視を活用することは、医用画像における物体検出性能を向上させるか？
• RQ2 限定データでの学習に特に影響を受ける場合を含め、2Dおよび3Dの医用データセット全体で、Retina U-Net は標準的な1段検出器および2段検出器とどのように比較されるか？
• RQ3 小規模データ条件下での全セグメンテーション監視の検出への影響はどれほどか、また視点を越えて予測を頑健に統合するにはどうするか？
• RQ4 シンプルで解釈可能なアーキテクチャは、医療文脈でより複雑な2段検出器と同等の性能を達成できるか？

主な発見

• Retina U-Net は、全セグメンテーション監視なしのセグメンテーションのみのベースラインや競合する1段検出器と比較して、優れた検出性能を示す。
• 2つの医用データセット（肺CTと乳房拡散MRI）で、Retina U-Net は最良の2段ベースラインと同等かそれに近づきつつ、より単純である。
• 全セグメンテーション監視は小データ条件下で顕著な優位性を提供し、形状・パターン・スケールを試験した toy 実験で示されている。
• WBC アルゴリズムの重み付け戦略は、標準的な NMS よりも多視点予測の統合を改善し、最終的なオブジェクトスコアを強化する。
• 3D 文脈は一部の設定で有利だが、高く異方性なデータ（乳房MRI）では全3D文脈の恩恨みが小さい場合があり、データセットの特性を反映している。