[論文レビュー] Basic Ensembles of Vanilla-Style Deep Learning Models Improve Liver Segmentation From CT Images

A. Emre Kavur, Ludmila I. Kuncheva+1 more|arXiv (Cornell University)|Jan 27, 2020

Advanced Neural Network Applications被引用数 7

ひとこと要約

本研究では、ハイパーパramータチューニングを一切行わず、市販のディーブラーニングモデル（U-Net、Deepmedic、V-Net、Dense V-Net）を用いた、シンプルで再現性の高いアンサンブル手法を、CTスキャンからの肝臓セグメンテーションに提案する。予測結果を基本的なトレーニングなしのルール（多数決、平均、積、最小/最大）で統合することで、2つの公的データセットにおいて個々のモデルを顕著に上回る性能を達成した。特に平均結合器が最良の結果を示した。

ABSTRACT

Segmentation of the liver from 3D computer tomography (CT) images is one of the most frequently performed operations in medical image analysis. In the past decade, Deep Learning Models (DMs) have offered significant improvements over previous methods for liver segmentation. The success of DMs is usually owed to the user's expertise in deep learning as well as to intricate training procedures. The need for bespoke expertise limits the reproducibility of empirical studies involving DMs. Today's consensus is that an ensemble of DMs works better than the individual component DMs. In this study we set off to explore the potential of ensembles of publicly available, `vanilla-style' DM segmenters Our ensembles were created from four off-the-shelf DMs: U-Net, Deepmedic, V-Net, and Dense V-Networks. To prevent further overfitting and to keep the overall model simple, we use basic non-trainable ensemble combiners: majority vote, average, product and min/max. Our results with two publicly available data sets (CHAOS and 3Dircadb1) demonstrate that ensembles are significantly better than the individual segmenters on four widely used metrics.

研究の動機と目的

• ディーブラーニングベースの医療画像セグメンテーションにおける再現性の危機を解消するため、カスタムモデル設計や広範なハイパーパramータチューニングを回避すること。
• 公開済みでデフォルト設定のディーブラーニングモデルを単純なアンサンブル化することで、個々のモデルを上回る性能が得られるかどうかを評価すること。
• 小規模な医療画像データセットに過学習が生じやすい状況において、最も効果的でトレーニングなしのアンサンブル結合器を同定すること。
• ディーブラーニングの専門知識が乏しい研究者らが即座に利用可能な、最小限の作業で済むソリューションを提供し、医療AI分野における再現性を高めること。

提案手法

• ステートオブザアートで公開済みの4つのディーブラーニングモデル（U-Net、Deepmedic、V-Net、Dense V-Net）を選定し、すべてのハイパーパramータとアーキテクチャをデフォルト設定でトレーニングした。
• 4つのトレーニングなしのアンサンブル結合器（多数決、平均、積、最小/最大）を用い、ベースモデルのセグメンテーション出力を統合した。
• 評価に2つの公的データセット（CHAOS、3Dircadb1）を用い、ベンチマークデータにおける一貫性と再現性を確保した。
• DICE、HD95、HD、HD95の4つの標準指標を用いて性能を評価した。DICEは最適化の一貫性を保つために逆転処理を施した。
• 小規模なデータセットにおける過学習を防ぐために、結合器のキャリブレーションや追加トレーニングを回避した。
• すべての指標とデータセットにおいて、アンサンブルの性能を個々のモデルと比較し、相対的な向上度とロバスト性を評価した。

実験結果

リサーチクエスチョン

• RQ1 ハイパーパramータチューニングなしで、市販のディーブラーニングモデルの単純なアンサンブルが、CT画像からの肝臓セグメンテーションにおいて個々のモデルを上回る性能を示せるか？
• RQ2 多数決、平均、積、最小/最大のうち、どのトレーニングなしのアンサンブル結合器が複数の指標とデータセットにわたって最も一貫性があり優れた性能を示すか？
• RQ3 本研究で提示されたベーシックなアンサンブルアプローチは、個々のディーブラーニングモデルと比較して、小規模な医療画像データセットにおける過学習を軽減できるか？
• RQ4 個々のモデル出力におけるキャリブレーションの問題がアンサンブル性能に与える影響はどの程度か？また、キャリブレーションなしの単純な結合器でも、依然として頑健な結果が得られるか？
• RQ5 このアンサンブル手法は、特化したモデル設計や広範なハイパーパramータチューニングを回避できる、再現性があり低コストなベースラインとして医療画像セグメンテーションに活用できるか？

主な発見

• ベーシックなディーブラーニングモデルのアンサンブルは、CHAOSおよび3Dircadb1の両データセットにおいて、4つの評価指標すべてで個々のモデルを顕著に上回った。
• 平均結合器が全体で最良の性能を示し、データセット・指標・ベースモデルを含めた32通りの比較のうち25勝（勝ち数－負け数）を記録した。
• 多数決アンサンブルはCHAOSデータセットで最高のパフォーマンスを示したが、両データセット全体では平均結合器が最良の結果を出した。
• 積および最小/最大結合器も競争力のある性能を示したが、総勝数と一貫性の観点から平均結合器に劣った。
• 結果から、小規模な医療画像データセットでは過学習が大きな問題であることが示され、単純なアンサンブルがデフォルト設定でトレーニングされた個々のモデルと比較して、そのリスクを低減することがわかった。
• 重み付き多数決、ナイーブベイズ、および行動知識空間（BKS）といったトレーニング付き結合器も、単純な結合器と同等の性能を示した。これは、小規模データセットでは複雑さが性能向上に寄与しないことを裏付けた。