[論文レビュー] ECONet: Efficient Convolutional Online Likelihood Network for Scribble-based Interactive Segmentation

Muhammad Asad, Lucas Fidon+1 more|arXiv (Cornell University)|Jan 12, 2022

COVID-19 diagnosis using AI被引用数 6

ひとこと要約

ECONETは、CTスキャンにおけるCOVID-19肺病変のスクリブルベースのインタラクティブセグメンテーションのための軽量で完全畳み込み型オンライン学習ネットワークを提案する。スクリブルによる入力のみでパッチベースのオンライン学習と重み付き交差エントロピーを用いてリアルタイムでの適応が可能であり、最先端の手法よりも16%高いDiceスコアを達成するとともに、推論時間を3倍短縮し、ラベル付きボクセルの必要数を9,000個削減した。

ABSTRACT

Automatic segmentation of lung lesions associated with COVID-19 in CT images requires large amount of annotated volumes. Annotations mandate expert knowledge and are time-intensive to obtain through fully manual segmentation methods. Additionally, lung lesions have large inter-patient variations, with some pathologies having similar visual appearance as healthy lung tissues. This poses a challenge when applying existing semi-automatic interactive segmentation techniques for data labelling. To address these challenges, we propose an efficient convolutional neural networks (CNNs) that can be learned online while the annotator provides scribble-based interaction. To accelerate learning from only the samples labelled through user-interactions, a patch-based approach is used for training the network. Moreover, we use weighted cross-entropy loss to address the class imbalance that may result from user-interactions. During online inference, the learned network is applied to the whole input volume using a fully convolutional approach. We compare our proposed method with state-of-the-art using synthetic scribbles and show that it outperforms existing methods on the task of annotating lung lesions associated with COVID-19, achieving 16% higher Dice score while reducing execution time by 3$\ imes$ and requiring 9000 lesser scribbles-based labelled voxels. Due to the online learning aspect, our approach adapts quickly to user input, resulting in high quality segmentation labels. Source code for ECONet is available at: https://github.com/masadcv/ECONet-MONAILabel.

研究の動機と目的

• COVID-19肺病変のCTボリュームにおける時間的に長く、専門家に依存する手動セグメンテーションの課題に対処すること。
• ヒステログラム強度分布の重複による外観ベースのモデルが健康な肺組織と病変を区別できないという制限を克服すること。
• 事前学習を必要とせず、ユーザーのスクリブルに素早く適応できる効率的なオンライン学習フレームワークを開発すること。
• 高いセグメンテーション精度を維持しながら、必要なラベル付きボクセル数を削減すること。
• 視覚的特徴が曖昧な新興疾患に対して迅速なデータラベリングを可能にすること。

提案手法

• ECONETは、ユーザーが提供したスクリブルラベルを含むパッチのみを用いて、リアルタイムに学習する軽量な完全畳み込みニューラルネットワークを採用する。
• 疎なユーザーインタラクションからの学習を高速化するために、パッチベースのトレーニング戦略を用いる。
• 疎なスクリブルによって引き起こされるクラス不均衡を軽減するために、重み付き交差エントロピー損失を適用する。
• オンライン推論は、3次元ボリューム全体に対する完全畳み込み型の順伝播によって実行される。
• 事前学習を経ずにエンドツーエンドで学習されるため、新しいアノテーションに即座に適応可能である。
• 動的学習戦略により、ユーザーの各インタラクション後にネットワーク重みを段階的に更新する。

実験結果

リサーチクエスチョン

• RQ1 最小限のスクリブルアノテーションのみを用いて、深層学習モデルが曖昧な肺病変に対して高いセグメンテーション精度を達成できるか？
• RQ2 疎なユーザーインタラクションからのオンライン学習は、オフラインまたは事前学習済みモデルと比較して、速度と精度の面でどのように異なるか？
• RQ3 パッチベースのトレーニング戦略は、インタラクティブセグメンテーションにおいて計算コストを削減しながらも性能を維持できるか？
• RQ4 重み付き交差エントロピー損失は、疎なラベリングによるクラス不均衡下でモデルのロバスト性をどの程度向上できるか？
• RQ5 エンドツーエンドのオンライン学習フレームワークは、既存のオンライン尤度モデルと比較して、精度と効率の両面で優れているか？

主な発見

• ECONETは、合成スクリブルに対して最先端のDybaORF-Haar-Like手法よりも16%高いDiceスコアを達成した。
• ECONETは、DybaORF-Haar-Likeと比較して推論時間を3倍短縮し、約2秒でオンライン学習と推論を実現した。
• ECONETは、DybaORF-Haar-Likeと同等の性能を達成するために9,000個のラベル付きボクセルを削減した。
• ECONETを用いることで、データセットの70%がDiceスコア80%以上を達成したのに対し、DybaORF-Haar-Likeではわずか15%であった。
• ECONETはGMMおよびヒストグラムベースの手法を上回り、それらは一般化に失敗し、ラベル付きボクセル数が増えると性能が悪化した。
• 非専門家によるスクリブルを用いた定性的な結果では、ECONETが真値に近いセグメンテーションを生成したため、ノイズの多いユーザー入力に対してもロバストであることが示された。