[論文レビュー] End-to-end detection-segmentation network with ROI convolution

Zichen Zhang, Min Tang+4 more|arXiv (Cornell University)|Jan 8, 2018

Advanced Neural Network Applications参考文献 13被引用数 6

ひとこと要約

本論文は、ROI畳み込みを用いたエンドツーエンドの検出・セグメンテーションネットワークを提案し、超音波画像における小領域のセマンティックセグメンテーションを向上させることを目的としている。RPN（領域提案ネットワーク）を統合し、ROIプーリングの代わりに微分可能であるROI畳み込みを採用することで、検出とセグメンテーションの両方を統合的に最適化できるようになり、38.6%のDiceスコアを達成した。これは、困難な小領域セグメンテーションタスクにおいて、FCN-32s（22.3%）やU-Net（4.9%）を顕著に上回っている。

ABSTRACT

We propose an end-to-end neural network that improves the segmentation accuracy of fully convolutional networks by incorporating a localization unit. This network performs object localization first, which is then used as a cue to guide the training of the segmentation network. We test the proposed method on a segmentation task of small objects on a clinical dataset of ultrasound images. We show that by jointly learning for detection and segmentation, the proposed network is able to improve the segmentation accuracy compared to only learning for segmentation. Code is publicly available at https://github.com/vincentzhang/roi-fcn.

研究の動機と目的

• 小領域のセグメンテーション精度を向上させること。特に、クラスの不均衡や低解像度が性能を制限する医療超音波画像において。
• 背景優位性と特徴の解像度低下のため、完全畳み込みネットワーク（FCNs）が小領域を局所化・セグメンテーションする際に抱える限界を解消すること。
• 領域提案を活用してオブジェクト検出をセグメンテーションの事前知識として統合し、特徴学習を誘導すること。
• 領域別処理やROIプーリングの必要性を排除するため、微分可能で画像全体にわたるROI畳み込み層を導入すること。
• 局所化とピクセル単位分類の両方を同時に最適化する統合的検出・セグメンテーションネットワークをエンドツーエンドで学習可能にする。

提案手法

• ネットワークはVGG16をバックボーンの特徴抽出器として用い、その後に領域提案ネットワーク（RPN）を配置し、バウンディングボックス形式のオブジェクト候補（ROIs）を生成する。
• 新規のROI畳み込み層を導入し、一度の順伝播で全ROIsに畳み込みを適用することで、従来のROIプーリングに代わる処理を実現。空間解像度を保持する。
• ROI畳み込み層は微分可能であり、バックプロパゲーションによる学習が可能であり、検出とセグメンテーションの両タスクをエンドツーエンドで最適化可能である。
• セグメンテーションヘッドはROI畳み込み層からの特徴を処理し、ピクセル単位のラベルを予測。損失は検出（RPN）とセグメンテーション（セグメンテーションヘッド）の両ブランチで同時に計算される。
• 領域別処理を回避するため、全ROIsを同時に畳み込み処理することで、計算コストを低減し、細かい空間的詳細を保持する。
• マルチタスク損失を用いて学習を実施。RPNの分類と回帰損失と、セグメンテーションの交差エントロピー損失を組み合わせ、両タスクの統合的最適化を実現。

実験結果

リサーチクエスチョン

• RQ1 オブジェクト検出を局所化の事前知識として統合することで、医療超音波画像における小領域のセグメンテーション精度が向上するか？
• RQ2 ROIプーリングを微分可能なROI畳み込み層に置き換えることで、特徴の保存性が向上し、セグメンテーション性能が改善されるか？
• RQ3 エンドツーエンドで学習可能な検出・セグメンテーションネットワークは、標準のFCNおよびU-Netアーキテクチャを小領域セグメンテーションタスクで上回るか？
• RQ4 RPNからのROIsの使用が、特にクラスの不均衡が顕著な状況下で、セグメンテーション特徴の学習にどのように影響するか？
• RQ5 領域別処理と比較して、ROI畳み込みによる画像全体処理は、計算コストの削減にどの程度寄与するか？

主な発見

• 提案されたRPN-FCN手法は、同じテストセットにおいて38.6%のDiceスコアを達成し、FCN-32s（22.3%）およびU-Net（4.9%）を顕著に上回った。
• 検出損失を含まないベースラインRPN-FCN（FCN-noPool5-scratch）は22.8%のDiceスコアにとどまり、検出と統合的に学習させることでセグメンテーション性能が向上することを確認した。
• RPN-FCNモデルは、明確な股関節杯構造を示すスライスにおいて、滑らかで整合性のあるセグメンテーションマスクを生成したが、U-Netはいかなる正例領域も検出できなかった。
• ROI畳み込みの使用により、標準的なFCNと比較して高解像度の特徴を保持でき、過剰なアップサンプリングの必要性が低減され、小領域の表現が向上した。
• クラスの不均衡の影響を効果的に軽減し、関連領域に焦点を当てたセグメンテーションネットワークにより、再現率がU-Net（6.3%）と比較して55.1%に向上した。
• 可視化結果から、ネットワークが股関節杯領域を正確に局所化し、低コントラストの超音波画像でも意味のあるセグメンテーション出力を生成していることが確認された。