[論文レビュー] Training Multi-organ Segmentation Networks with Sample Selection by Relaxed Upper Confident Bound

Yan Wang, Yuyin Zhou+4 more|arXiv (Cornell University)|Apr 7, 2018

Advanced Neural Network Applications参考文献 15被引用数 5

ひとこと要約

本稿では、アノテーションエラーへの感受性を低減しつつ、難易度の高いサンプルの活用と訪問頻度が低いサンプルの探索をバランスさせるために、マルチオルガニズムセグメンテーションネットワークのトレーニングに向けたリラクスト・アッパー・コンfidント・バウンド（RUCB）サンプル選択法を提案する。RUCBは、Uniform、OHEM、および標準的なUCBを上回り、16個の臓器で平均74.75％のDSCを達成し、副腎や腹腔幹動脈といった小規模で難易度の高い構造物において顕著な向上を示した。

ABSTRACT

Deep convolutional neural networks (CNNs), especially fully convolutional networks, have been widely applied to automatic medical image segmentation problems, e.g., multi-organ segmentation. Existing CNN-based segmentation methods mainly focus on looking for increasingly powerful network architectures, but pay less attention to data sampling strategies for training networks more effectively. In this paper, we present a simple but effective sample selection method for training multi-organ segmentation networks. Sample selection exhibits an exploitation-exploration strategy, i.e., exploiting hard samples and exploring less frequently visited samples. Based on the fact that very hard samples might have annotation errors, we propose a new sample selection policy, named Relaxed Upper Confident Bound (RUCB). Compared with other sample selection policies, e.g., Upper Confident Bound (UCB), it exploits a range of hard samples rather than being stuck with a small set of very hard ones, which mitigates the influence of annotation errors during training. We apply this new sample selection policy to training a multi-organ segmentation network on a dataset containing 120 abdominal CT scans and show that it boosts segmentation performance significantly.

研究の動機と目的

• 医療画像セグメンテーションデータセットにおけるアノテーションエラーの課題に対処し、誤ったサンプルがハードサンプルとして誤って認識されることでトレーニングが歪められるのを防ぐ。
• ハードサンプルの活用と訪問頻度が低いサンプルの探索をバランスさせるサンプル選択戦略を構築することで、マルチオルガニズムセグメンテーションにおけるトレーニング効率とセグメンテーション精度を向上させる。
• 非常にハードなサンプルの選択を緩和することで、ノイズや誤ったアノテーションにモデルが収束するリスクを低減し、少数の高損失例に過剰適合するのを防ぐ。
• 複雑なネットワークアーキテクチャの変更を要せず、単純で効果的なサンプル選択ポリシーが顕著な性能向上をもたらすことを示す。

提案手法

• 各2Dスライスまたは3Dサブボリュームを「アーム」として扱うことで、深層学習トレーニングにおけるサンプル選択に上界確信区間（UCB）マルチアームバンディット戦略を適応する。
• 非常に高損失のサンプルに過剰適合するリスクを低減するため、より広範なハードサンプルの範囲から選択するリラックス版UCB（RUCB）を導入する。
• 選択スコアに、平均損失（活用）とサンプルの選択回数（探索）のバランスを取るための信頼区間項を導入し、調整可能なハイパーパrameter α を用いてリラクゼーションを制御する。
• RUCBをブートストラップトレーニングループに適用する：初期のFCNを訓練し、各サンプルの損失を計算し、繰り返しRUCBスコアを用いて新しいトレーニングサンプルを選択してネットワークを再訓練する。
• RUCBスコアを以下のように定義する：$ \text{RUCB}(i) = \bar{l}_i + \alpha \sqrt{ \frac{2 \ln n}{n_i} } $、ここで $ \bar{l}_i $ はサンプル $ i $ の平均損失、$ n_i $ はその選択回数、$ n $ は総イテレーション回数、$ \alpha $ は探索の制御に用いるハイパーパrameterである。
• 16個の臓器で評価するため、120例の腹部CTスキャンを用いてトレーニングし、Dice類似係数（DSC）を評価指標として用い、RUCBをUniform、OHEM、標準UCBサンプリングと比較する。

実験結果

リサーチクエスチョン

• RQ1 活用と探索のバランスを取るサンプル選択ポリシーが、アーキテクチャの変更なしにマルチオルガニズムセグメンテーション性能を向上させられるか？
• RQ2 RUCBは、アノテーションエラーの影響を緩和するために、標準UCBやOHEMと比較してどのように優れているか？
• RQ3 ハードサンプルの選択を緩和することで、医療画像セグメンテーションにおけるノイズや誤ったアノテーションを持つ例への過剰適合が減少するか？
• RQ4 RUCBは、副腎や腹腔幹動脈のような小規模で難易度の高い臓器のセグメンテーション精度をどの程度向上させるか？
• RQ5 UCBやUniformサンプリングと比較して、RUCBの性能はトレーニングイテレーション数の増加に伴いどのように変化するか？

主な発見

• RUCBは16個の臓器で平均74.75％のDice類似係数（DSC）を達成し、Uniform（73.55％）、OHEM（71.08％）、UCB（73.47％）を顕著に上回った。
• 副腎のDSCはUniformの29.33％からRUCBの36.76％に上昇し、相対的に25％の向上を示し、RUCBが小規模で挑戦的な臓器に対して効果的であることを裏付けた。
• 腹腔幹動脈のセグメンテーション精度は、Uniformの34.49％からRUCBの38.45％に向上し、小規模で複雑な構造物の性能向上を示した。
• RUCBは60,000イテレーションで74.07％のDSCを達成し、UCBが80,000イテレーションまで訓練した場合を上回った。これは、RUCBのトレーニング効率の高さを示している。
• OHEMはUniformよりも性能が悪く、損失が最大のサンプルを直接選択する戦略は効果がなく、ノイズを拡大する可能性があることを示唆した。
• 可視化分析により、UCBはしばしばアノテーションエラー（例：誤った大腸のラベル付け）を持つサンプルを頻繁に選択していた一方、RUCBは最も困難だが正しくアノテートされたケースのみを選択していた。