[論文レビュー] Two layer Ensemble of Deep Learning Models for Medical Image Segmentation

Truong Dang, Tien Thanh Nguyen+3 more|arXiv (Cornell University)|Apr 10, 2021

Advanced Neural Network Applications参考文献 30被引用数 11

ひとこと要約

本論文は、第一層のモデル予測を第二層のモデルの拡張入力として用いる二層構造のアンサンブル深層学習フレームワークを提案する。最終出力は、線形回帰により学習された重みを用いて組み合わせられ、CAMUSおよびKvasir-SEGデータセットで最先端の性能を達成し、Diceスコアは最大0.96、ハウスドルフ距離はベースラインモデル比最大0.3の改善を達成した。

ABSTRACT

In recent years, deep learning has rapidly become a method of choice for the segmentation of medical images. Deep Neural Network (DNN) architectures such as UNet have achieved state-of-the-art results on many medical datasets. To further improve the performance in the segmentation task, we develop an ensemble system which combines various deep learning architectures. We propose a two-layer ensemble of deep learning models for the segmentation of medical images. The prediction for each training image pixel made by each model in the first layer is used as the augmented data of the training image for the second layer of the ensemble. The prediction of the second layer is then combined by using a weights-based scheme in which each model contributes differently to the combined result. The weights are found by solving linear regression problems. Experiments conducted on two popular medical datasets namely CAMUS and Kvasir-SEG show that the proposed method achieves better results concerning two performance metrics (Dice Coefficient and Hausdorff distance) compared to some well-known benchmark algorithms.

研究の動機と目的

• 小規模な医療画像データセットでトレーニングされた深層学習モデルにおける過学習と一般化性能の制限を解決すること。
• アンサンブル戦略を通じて複数の深層学習モデルを効果的に組み合わせることで、セグメンテーション性能を向上させること。
• 学習された重みを用いた予測の融合を計算的に効率的な方法で実現すること。
• 階層的アンサンブルアーキテクチャを通じて、個々のモデルの弱みを補完する強みを活用すること。
• 標準的なセグメンテーション指標を用いて、ベンチマーク医療画像データセット上で手法を検証すること。

提案手法

• 第一層は、異なるバックボーン（ResNet34、VGG16）を備えた複数の深層学習モデル（例：UNet、LinkNet、FPN）から構成され、元の画像データ上でトレーニングされる。
• 第一層のモデルが出力するピクセル単位の予測出力を、元の入力画像と連結して、第二層モデルの拡張訓練データを構築する。
• 第二層モデルは、この拡張データ上でトレーニングされ、第一層のモデルからの統合情報を利用してセグメンテーション予測を精緻化する。
• 最終的な予測は、バリデーションデータの誤差を最小化するように学習された重みを用いた重み付き統合により組み合わされる。
• 個々のモデルの寄与度をバランスさせるために、最小二乗回帰アプローチを用いてクラス別に重みを最適化する。
• フレームワークは、CAMUSおよびKvasir-SEGの2つの公開データセットを用いて、Dice係数およびハウスドルフ距離で評価される。

実験結果

リサーチクエスチョン

• RQ1 小規模な医療画像データセットにおいて、個々のモデルと比較して二層構造のアンサンブルがセグメンテーション精度を向上させることができるか？
• RQ2 第一層のモデル予測を第二層の入力として拡張することで、特徴表現の質とモデルの一般化性能が向上するか？
• RQ3 学習可能な重みベースの統合戦略は、単純な平均化や投票よりも優れた性能を発揮するか？
• RQ4 本手法は、エコーカーディオグラムにおける左房や心筋などの困難な解剖的構造において、どのように性能を発揮するか？
• RQ5 ハウスドルフ距離で測定した境界検出の誤差は、どの程度低減されるか？

主な発見

• 提案されたアンサンブルは、CAMUSデータセットの心筋クラスでDice係数0.96を達成し、2番目に優れた手法（OLE）の0.959を上回った。
• 左房クラスでは、Diceスコア0.907を達成し、OLE（0.900）およびUNet-ResNet34（0.900）を上回った。
• 収縮期では、左室のハウスドルフ距離が4.4を記録し、2番目に優れたモデル（LinkNet-ResNet34）の4.7を上回った。
• 拡張期では、左房のハウスドルフ距離が4.8を記録し、OLE（5.3）および他のモデルを上回った。
• 特に左房の右下領域のような複雑な領域において、構成モデルが失敗する中で、アンサンブルは個々のモデルの予測を改善した。
• VGG16バックボーンを搭載したモデルは性能が低く、Diceスコアが0.3未満にとどまり、バックボーン選択とアンサンブル統合の重要性を浮き彫りにした。