[논문 리뷰] Scheduling Techniques for Liver Segmentation: ReduceLRonPlateau Vs OneCycleLR

Ayman Al‐Kababji, Fayçal Bensaali외 1명|arXiv (Cornell University)|2022. 02. 13.

Advanced Neural Network Applications인용 수 6

한 줄 요약

이 연구는 MSDC-T8 데이터셋에서 U-Net 기반 간 분할을 위한 ReduceLRonPlateau와 OneCycleLR 스케줄링 기법을 비교하며, 동일한 훈련 조건 하에서 ReduceLRonPlateau가 더 빠른 수렴 속도와 약간 더 높은 성능(98.12% ± 0.04%)을 보이며 OneCycleLR(98.07% ± 0.11%)를 압도함을 입증한다. 두 기법 모두 이전 최고 성능 결과를 뛰어넘는다.

ABSTRACT

Machine learning and computer vision techniques have influenced many fields including the biomedical one. The aim of this paper is to investigate the important concept of schedulers in manipulating the learning rate (LR), for the liver segmentation task, throughout the training process, focusing on the newly devised OneCycleLR against the ReduceLRonPlateau. A dataset, published in 2018 and produced by the Medical Segmentation Decathlon Challenge organizers, called Task 8 Hepatic Vessel (MSDC-T8) has been used for testing and validation. The reported results that have the same number of maximum epochs (75), and are the average of 5-fold cross-validation, indicate that ReduceLRonPlateau converges faster while maintaining a similar or even better loss score on the validation set when compared to OneCycleLR. The epoch at which the peak LR occurs perhaps should be made early for the OneCycleLR such that the super-convergence feature can be observed. Moreover, the overall results outperform the state-of-the-art results from the researchers who published the liver masks for this dataset. To conclude, both schedulers are suitable for medical segmentation challenges, especially the MSDC-T8 dataset, and can be used confidently in rapidly converging the validation loss with a minimal number of epochs.

연구 동기 및 목표

• U-Net을 위한 학습률 스케줄러로서 ReduceLRonPlateau와 OneCycleLR의 효과를 평가하고 비교하는 것.
• MSDC-T8 데이터셋에서 어느 스케줄러가 더 빠른 수렴 속도와 더 나은 일반화 성능을 제공하는지 확인하는 것.
• 초기 피크 학습률을 가진 OneCycleLR를 통한 슈퍼컨버전스가 의료 영상 분할에서 효과적으로 구현될 수 있는지 조사하는 것.
• 최적화된 스케줄링 및 사전 처리 기법을 통해 기존 최고 성능 결과를 향상시키는 것.

제안 방법

• PyTorch 내장 기능인 ReduceLRonPlateau 및 OneCycleLR 스케줄러를 사용하여 MSDC-T8 데이터셋에서 2.5D U-Net 모델을 훈련시킴.
• 표준 사전 처리: Hounsfield 단위를 [-100, 200]으로 스케일링, 512×512로 패딩, 스캔 별 평균 및 표준편차를 사용한 정규화.
• 고정된 최대 75개의 훈련 에포크와 검증 손실 기반 조기 정지 기반 5겹 교차 검증을 수행.
• Dice 스코어, DSC 및 검증 손실을 평가 지표로 사용하며, 결과는 각 폴드 평균값으로 산출.
• scikit-image의 마치징 큐브 알고리즘 기반 커스텀 스크립트를 사용해 2D 분할 마스크에서 3D 간 모델 생성.
• 두 스케줄러 모두 최적화된 학습률 값을 설정함. OneCycleLR는 피크 학습률을 주요 하이퍼파라미터로 사용하고, ReduceLRonPlateau는 초기 학습률과 내성(내성)을 설정함.

실험 결과

연구 질문

• RQ1 ReduceLRonPlateau가 MSDC-T8에서 간 분할 작업에 있어 수렴 속도와 최종 검증 성능 측면에서 OneCycleLR를 능가하는가?
• RQ2 피크 학습률이 조기에 발생할 경우, OneCycleLR의 슈퍼컨버전 특성이 의료 영상 분할에서 효과적으로 관찰될 수 있는가?
• RQ3 다양한 학습률 값이 두 스케줄링 전략 하에서 U-Net 모델의 일반화 및 수렴에 어떤 영향을 미치는가?
• RQ4 최적화된 사전 처리 및 스케줄링 기법이 MSDC-T8 벤치마크에서 이전 최고 성능 결과를 얼마나 향상시키는가?

주요 결과

• ReduceLRonPlateau는 16×10⁻⁵ 학습률에서 98.12% ± 0.04%의 Dice 스코어를 기록하여, 24×10⁻⁵ 피크 학습률에서 도출된 최고의 OneCycleLR 결과(98.07% ± 0.11%)를 약간 뛰어넘음.
• ReduceLRonPlateau는 OneCycleLR보다 더 빠른 수렴을 보였으며, 이는 ReduceLRonPlateau가 높은 초기 학습률로 시작하는 반면, OneCycleLR는 점차 증가하여 약 23번째 에포크에 피크에 도달하기 때문임.
• 최고의 OneCycleLR 결과는 피크 학습률 24×10⁻⁵에서 도출되었지만, ReduceLRonPlateau보다 최적 성능에 도달하는 데 더 많은 에포크가 소요됨.
• 두 스케줄러 모두 폴드 간 낮은 표준편차를 보이며, 데이터 분할에 대한 안정성과 강건성을 입증함.
• 최적화된 사전 처리 및 스케줄링 기법을 적용한 U-Net 모델은 GLC-Unet(98.18% ± 0.85% Dice)을 포함한 이전 최고 성능 방법을 초월함.
• 결과는 MSDC-T8 데이터셋에서는 OneCycleLR의 조기 피크 학습률(23번째 에포크 이전)이 슈퍼컨버전을 완전히 활용하기 위해 필수적일 수 있음을 시사함.