[論文レビュー] Scheduling Techniques for Liver Segmentation: ReduceLRonPlateau Vs OneCycleLR

Ayman Al‐Kababji, Fayçal Bensaali+1 more|arXiv (Cornell University)|Feb 13, 2022

Advanced Neural Network Applications被引用数 6

ひとこと要約

本研究では、MSDC-T8 データセットにおけるU-Netベースの肝臓セグメンテーションにおいて、ReduceLRonPlateau と OneCycleLR スケジューリング手法を比較した。同じ訓練条件下で、ReduceLRonPlateau は OneCycleLR よりも高速に収束し、わずかに優れた性能（Dice スコア 98.12% ± 0.04%）を達成した。両手法とも、先行する最先端の結果を上回った。

ABSTRACT

Machine learning and computer vision techniques have influenced many fields including the biomedical one. The aim of this paper is to investigate the important concept of schedulers in manipulating the learning rate (LR), for the liver segmentation task, throughout the training process, focusing on the newly devised OneCycleLR against the ReduceLRonPlateau. A dataset, published in 2018 and produced by the Medical Segmentation Decathlon Challenge organizers, called Task 8 Hepatic Vessel (MSDC-T8) has been used for testing and validation. The reported results that have the same number of maximum epochs (75), and are the average of 5-fold cross-validation, indicate that ReduceLRonPlateau converges faster while maintaining a similar or even better loss score on the validation set when compared to OneCycleLR. The epoch at which the peak LR occurs perhaps should be made early for the OneCycleLR such that the super-convergence feature can be observed. Moreover, the overall results outperform the state-of-the-art results from the researchers who published the liver masks for this dataset. To conclude, both schedulers are suitable for medical segmentation challenges, especially the MSDC-T8 dataset, and can be used confidently in rapidly converging the validation loss with a minimal number of epochs.

研究の動機と目的

• U-Net を用いた肝臓セグメンテーションの訓練において、ReduceLRonPlateau と OneCycleLR の学習率スケジューラーの有効性を評価・比較すること。
• MSDC-T8 データセットにおいて、どのスケジューラーがより高速な収束とより優れた一般化性能をもたらすかを特定すること。
• 初期にピーク学習率をとる場合に、OneCycleLR によるスーパー・コンバージェンスが、医療画像セグメンテーションで実際に効果的に発現できるかを検証すること。
• 最適化されたスケジューリングおよび事前処理技術を用いて、既存の最先端の結果を上回ること。

提案手法

• PyTorch 内蔵の ReduceLRonPlateau および OneCycleLR スケジューラーを用いて、MSDC-T8 データセット上で 2.5D U-Net モデルを訓練した。
• 標準的な事前処理を実施：Hounsfield 単位を [-100, 200] にスケーリング、512×512 にゼロパディング、スキャンごとの平均および標準偏差を用いた正規化。
• 固定最大 75 エポック、検証損失に基づく早期停止を伴う 5 分割交差検証を実施。
• Dice スコア、DSC、検証損失を用いてモデルを評価し、各foldの平均値を算出した。
• scikit-image のマーチング・キューブスアルゴリズムに基づくカスタムスクリプトを用いて、2D セグメンテーションマスクから 3D 肝臓モデルを生成した。
• 両スケジューラーの最適化された学習率値を設定。OneCycleLR ではピーク学習率を主なハイパーパramータとし、ReduceLRonPlateau では初期学習率と忍耐値（patience）を設定した。

実験結果

リサーチクエスチョン

• RQ1 ReduceLRonPlateau は、MSDC-T8 における肝臓セグメンテーションにおいて、収束速度および最終的な検証性能において OneCycleLR を上回るか？
• RQ2 ピーク学習率が初期に発生する場合、OneCycleLR のスーパー・コンバージェンス特性が医療画像セグメンテーションで実際に観察可能か？
• RQ3 異なる学習率値が、両スケジューリング戦略下での U-Net モデルの一般化性能および収束に与える影響は何か？
• RQ4 最適化された事前処理およびスケジューリング技術は、MSDC-T8 ベンチマークにおいて、先行する最先端の結果をどの程度上回るか？

主な発見

• ReduceLRonPlateau は 16×10⁻⁵ の学習率で 98.12% ± 0.04% の Dice スコアを達成し、OneCycleLR の最良結果（24×10⁻⁵ 時に 98.07% ± 0.11%）をわずかに上回った。
• ReduceLRonPlateau は OneCycleLR よりも収束が速く、前者は高い初期学習率から開始されるが、後者は約 23 エポック目まで学習率が徐々に増加する。
• OneCycleLR の最良結果はピーク学習率 24×10⁻⁵ 時に得られたが、ReduceLRonPlateau よりも最適性能に到達するまでに多くのエポックを要した。
• 両スケジューラーとも、fold 間で標準偏差が小さく、データ分割に対して一貫性があり、ロバストであることが示された。
• 最適化された事前処理およびスケジューリングを施した U-Net モデルは、先行する最先端手法（GLC-Unet：98.18% ± 0.85% の Dice）を上回った。
• 本結果から、MSDC-T8 データセットでは、OneCycleLR のスーパー・コンバージェンスを十分に活用するには、23 エポック以前にピーク学習率が到来する必要があると考えられる。