[論文レビュー] BoxNet: Deep Learning Based Biomedical Image Segmentation Using Boxes Only Annotation

Lin Yang, Yizhe Zhang+6 more|arXiv (Cornell University)|Jun 2, 2018

AI in cancer detection参考文献 18被引用数 31

ひとこと要約

この論文では、ボクシングボックスのアノテーションのみを用いる弱教師あり深層学習手法であるBoxNetを提案する。これにより、アノテーション作業の負担を大幅に軽減できる。傾いたボクシングボックスと極端点の手がかりを用いて、深層学習とグラフ探索を組み合わせることで、粗いセグメンテーションを精緻化し、完全教師あり手法とほぼ同等のセグメンテーション精度を達成している。

ABSTRACT

In recent years, deep learning (DL) methods have become powerful tools for biomedical image segmentation. However, high annotation efforts and costs are commonly needed to acquire sufficient biomedical training data for DL models. To alleviate the burden of manual annotation, in this paper, we propose a new weakly supervised DL approach for biomedical image segmentation using boxes only annotation. First, we develop a method to combine graph search (GS) and DL to generate fine object masks from box annotation, in which DL uses box annotation to compute a rough segmentation for GS and then GS is applied to locate the optimal object boundaries. During the mask generation process, we carefully utilize information from box annotation to filter out potential errors, and then use the generated masks to train an accurate DL segmentation network. Extensive experiments on gland segmentation in histology images, lymph node segmentation in ultrasound images, and fungus segmentation in electron microscopy images show that our approach attains superior performance over the best known state-of-the-art weakly supervised DL method and is able to achieve (1) nearly the same accuracy compared to fully supervised DL methods with far less annotation effort, (2) significantly better results with similar annotation time, and (3) robust performance in various applications.

研究の動機と目的

• バイオメディカル画像セグメンテーションにおける深層学習モデルのトレーニングに要する高コストで高い作業負荷のアノテーションを低減すること。
• 直交ボクシングボックスに依存する既存の弱教師あり手法が、非直交的で複雑なバイオメディカル構造では失敗するという限界を解消すること。
• 傾いたボクシングボックスと極端点のアノテーションを活用して、完全なインスタンスマスクを必要とせずに、セグメンテーション精度を向上させる手法を開発すること。
• マスクレベルのアノテーションではなくボックスレベルのアノテーションのみを用いて、完全教師あり深層学習手法と同等の性能を達成すること。
• ヒストロロジー、超音波、電子顕微鏡を含む多様なバイオメディカル画像モダリティにわたり、強力で汎用性の高いセグメンテーションを実現すること。

提案手法

• 1つのオブジェクトに対して6回のクリックで行える新しいアノテーションインターフェースを提案：オブジェクトの中心と方向を指定する2回のクリックと、オブジェクト境界上の極端点を示す4回のクリック。これにより、傾いたボクシングボックスのアノテーションが効率的に行える。
• ボクシングボックスのアノテーションと極端点の手がかりを用いて、正しいトポロジーを持つ粗いセグメンテーションを生成し、これをグラフ探索（GS）による境界の精緻化の入力として用いる。
• トレーニング画像に対してグラフ探索（GS）を適用し、ボクシングボックスと極端点からのトポロジーと境界の手がかりを活用して、誤りを回避する。
• GSで精緻化されたマスクを用いて、2番目の完全畳み込みネットワーク（FCN）を学習させ、正確で汎用性の高いセグメンテーションを学習し、テストデータにおける後処理の必要性を排除する。
• マスク生成時にボクシングボックスと極端点の制約との整合性を強制することで、誤りの可能性を絞り込み、耐性を高める。
• 精緻化されたマスクを弱教師ありトレーニングパイプラインに統合し、ボックスのみのアノテーションからエンドツーエンドの学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ボックスアノテーションのみでトレーニングされた弱教師あり深層学習手法が、完全教師あり手法と同等のセグメンテーション精度を達成できるか？
• RQ2 任意のオブジェクトの向きを持つバイオメディカル画像において、直交ボックスに比べて傾いたボクシングボックスと極端点アノテーションを用いることで、セグメンテーション性能がどのように向上するか？
• RQ3 推論段階ではなくトレーニング段階でグラフ探索（GS）を適用することで、後処理によるGSと比較して、セグメンテーション精度と一般化性能が顕著に向上するか？
• RQ4 本手法は、多様なバイオメディカル画像応用分野において、高いセグメンテーション精度を維持しながら、どの程度アノテーション時間を削減できるか？
• RQ5 ヒストロジー、超音波、電子顕微鏡画像における複雑なオブジェクト構造や曖昧な境界に対して、本手法はどの程度耐性を示すか？

主な発見

• BoxNetは、EMおよびヒストロジーのデータセットにおいて、完全教師あり深層学習手法とほぼ同等のセグメンテーション性能を達成しており、F1スコアの差が1%未満である。
• 3つのデータセット（H&Eヒストロジーにおける腺のセグメンテーション、超音波画像におけるリンパ節、EM画像における真菌）において、既存の最良の弱教師あり手法[7]（Box^i）をすべての面で上回っている。
• 類似したアノテーション時間で、BoxNetはBox^iよりもはるかに優れたセグメンテーション結果を生成しており、より優れたアノテーションの効率性と正確性を示している。
• 直交ボックスのみに比べ、傾いたボクシングボックスと極端点の手がかりを用いることで、粗いセグメンテーションのF1スコアが約1%向上し、完全アノテーション性能に近づいた。
• トレーニング段階でグラフ探索（GS）を適用することで、『粗いセグメンテーション＋GS』ベースラインと比較して、一貫した向上が全データセットで得られ、より正確で安定したセグメンテーションが実現した。
• テスト画像における後処理の必要性が排除され、推論速度が向上し、追加のGSステップなしにエンドツーエンドのデプロイメントが可能になった。