[논문 리뷰] RRA-U-Net: a Residual Encoder to Attention Decoder by Residual Connections Framework for Spine Segmentation under Noisy Labels

Ziyang Wang, Zhengdong Zhang외 1명|arXiv (Cornell University)|2020. 09. 27.

Medical Imaging and Analysis참고 문헌 19인용 수 4

한 줄 요약

이 논문은 잡음이 있는 레이블 조건 하에서 척추 분할을 위해 잔차 인코더, 잔차 블록 기반 스킵 연결, 주의 메커니즘 모듈, 그리고 적응형 클린-노이즈 레이블 학습 전략(ACNLL)을 갖춘 U-Net 기반 프레임워크인 RRA-U-Net을 제안한다. 이는 특징 분포 이탈을 효과적으로 완화하고 레이블 노이즈에 대한 강건성을 향상시켜 공개된 척추 CT 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Segmentation algorithms of medical image volumes are widely studied for many clinical and research purposes. We propose a novel and efficient framework for medical image segmentation. The framework functions under a deep learning paradigm, incorporating four novel contributions. Firstly, a residual interconnection is explored in different scale encoders. Secondly, four copy and crop connections are replaced to residual-block-based concatenation to alleviate the disparity between encoders and decoders, respectively. Thirdly, convolutional attention modules for feature refinement are studied on all scale decoders. Finally, an adaptive clean noisy label learning strategy(ACNLL) based on the training process from underfitting to overfitting is studied. Experimental results are illustrated on a publicly available benchmark database of spine CTs. Our segmentation framework achieves competitive performance with other state-of-the-art methods over a variety of different evaluation measures.

연구 동기 및 목표

• 잡음이 있는 레이블 조건 하에서 강건한 의료 영상 분할 모델을 훈련하는 데 도전하는 것.
• U-Net 아키텍처에서 인코더와 디코더 특징 간의 특징 분포 불일치를 줄이는 것.
• 컨볼루션 주의 모듈을 통해 디코더의 특징 정제를 향상시키는 것.
• 과소적합에서 과적합으로의 전이 과정을 활용해 레이블 노이즈에 적응하는 훈련 전략을 개발하는 것.
• 레이블 노이즈가 존재하는 상황에서도 척추 CT 분할에서 최신 기술 수준의 성능을 달성하는 것.

제안 방법

• 다중 스케일 인코더 간에 잔차 상호연결을 도입하여 특징 학습과 기울기 흐름을 안정화한다.
• 기존의 복사-자르기 스킵 연결을 잔차 블록 기반 연결으로 대체하여 인코더와 디코더 간의 특징 분포 불일치를 감소시킨다.
• 모든 디코더 단계에 컨볼루션 주의 모듈을 적용하여 특징을 정제하고 관련 해부학적 구조를 강조한다.
• 과소적합에서 과적합으로의 훈련 동적 특징을 활용해 동적으로 학습을 조정하는 적응형 클린-노이즈 레이블 학습(ACNLL) 전략을 제안한다.
• 주의 지도 supervision과 노이즈 인식 최적화를 통합한 손실 함수를 사용해 모델을 엔드 투 엔드로 훈련시킨다.
• 실제 잡음이 있는 레이블 조건에서 프레임워크를 검증하기 위해 공개된 척추 CT 데이터셋을 활용한다.

실험 결과

연구 질문

• RQ1 다양한 스케일의 인코더 간 잔차 연결은 레이블 노이즈 조건 하에서 척추 분할의 특징 표현을 어떻게 향상시키는가?
• RQ2 잔차 블록 기반 스킵 연결은 인코더와 디코더 간의 특징 분포 격차를 어느 정도 감소시키는가?
• RQ3 모든 디코더 단계에 주의 모듈을 적용하면 분할 정확도와 노이즈 레이블에 대한 강건성이 향상되는가?
• RQ4 ACNLL 전략은 노이즈 레이블 환경에서 훈련 중 클린 샘플을 효과적으로 식별하는 데 얼마나 유용한가?
• RQ5 제안된 프레임워크는 노이즈 레이블이 존재하는 척추 CT 분할에서 기존 최신 기술 수준의 방법들을 초월하는가?

주요 결과

• RRA-U-Net 프레임워크는 공개된 척추 CT 벤치마크에서 다양한 평가 지표에서 경쟁적인 분할 성능을 달성한다.
• 잔차 블록 기반 스킵 연결의 사용은 인코더와 디코더 특징 간의 특징 분포 불일치를 크게 감소시킨다.
• 모든 디코더 단계에 위치한 주의 모듈은 특징 정제를 향상시키고 더 정확한 경계 예측을 이끈다.
• ACNLL 전략은 훈련 중 클린 샘플을 효과적으로 식별하고 우선순위를 정함으로써 레이블 노이즈 조건 하에서 모델 일반화 능력을 향상시킨다.
• 프레임워크는 레이블 노이즈에 대해 강건성을 보이며, 레이블이 완벽하지 않은 경우에도 높은 성능을 유지한다.