[논문 리뷰] Interactive Deep Refinement Network for Medical Image Segmentation

Titinunt Kitrungrotsakul, Yutaro Iwamoto외 4명|arXiv (Cornell University)|2020. 06. 27.

Advanced Neural Network Applications참고 문헌 25인용 수 12

한 줄 요약

이 논문은 U-Net과 FCN의 출력을 공동으로 훈련된 보완 모듈을 통해 개선하는 상호작용형 딥 리파인먼트 네트워크(RefineNet)를 제안한다. 다중 스케일 특징과 사용자가 제공한 시드 포인트를 통합하여 엔드 투 엔드 훈련이 가능하게 하며, 자동으로 시드 포인트를 생성함으로써 테스트 시의 결과를 보완한다. 2D 세그멘테이션에서 U-Net 기준으로 최고 수준의 Dice 스코어 0.960, FCN 기준으로 0.941을 달성한다.

ABSTRACT

Deep learning techniques have successfully been employed in numerous computer vision tasks including image segmentation. The techniques have also been applied to medical image segmentation, one of the most critical tasks in computer-aided diagnosis. Compared with natural images, the medical image is a gray-scale image with low-contrast (even with some invisible parts). Because some organs have similar intensity and texture with neighboring organs, there is usually a need to refine automatic segmentation results. In this paper, we propose an interactive deep refinement framework to improve the traditional semantic segmentation networks such as U-Net and fully convolutional network. In the proposed framework, we added a refinement network to traditional segmentation network to refine the segmentation results.Experimental results with public dataset revealed that the proposed method could achieve higher accuracy than other state-of-the-art methods.

연구 동기 및 목표

• 저대비, 텍스처가 유사한 구조가 많은 의료 영상에서 정확한 자동 세그멘테이션을 방해하는 문제를 해결한다.
• CRF나 GAN과 같은 후처리 방법은 훈련 중 또는 별도로 작동하여 테스트 시 결과를 보완하지 못하는 한계를 극복한다.
• 세그멘테이션과 보완을 통합한 엔드 투 엔드 훈련 가능한 프레임워크를 개발하여, 추론 시 수동으로 시드 포인트를 제공할 필요 없이 정확도를 향상시킨다.
• 사용자가 제공한 시드 포인트를 활용한 상호작용 보완을 가능하게 하면서도, 훈련 중에 자동으로 시드 포인트를 생성하도록 네트워크를 훈련시켜 사용자 부담을 줄인다.
• 최신 기법들과 비교해 2D 슬라이스 및 반자동 슬라이스 단위 세그멘테이션 작업 모두에서 뛰어난 성능을 달성한다.

제안 방법

• 기본 세그멘테이션 네트워크(U-Net 또는 FCN) 뒤에 보완 네트워크를 플러그인 모듈로 통합하여 주 네트워크와 공동으로 훈련할 수 있도록 한다.
• 초기 세그멘테이션 출력에서 유도된 다중 스케일 특징을 활용해 보완 네트워크의 맥락 정보를 풍부하게 한다.
• 사용자가 제공한 시드 포인트(전경/배경)를 추가 입력으로 통합하여 보완 방향을 안내하며, 훈련 중에 자동으로 시드 포인트를 생성한다.
• 세그멘테이션 정확도를 최적화하는 손실 함수를 사용해 보완 네트워크를 엔드 투 엔드로 훈련시켜, 시드 입력에 기반한 예측 보완을 학습할 수 있도록 한다.
• 추론 시에는 오직 사용자가 제공한 시드 포인트만을 사용하여 훈련된 보완 네트워크를 적용하며, 재훈련이나 외부 후처리가 필요 없다.
• 반경 확장 및 스켈레톤화 방법을 사용해 반자동 세그멘테이션 작업에서 기준 세그멘테이션 슬라이스로부터 신뢰할 수 있는 시드 포인트를 생성한다.

실험 결과

연구 질문

• RQ1 기본 백본과 공동으로 훈련된 보완 네트워크가 단독 후처리 방법보다 저대비 의료 영상에서 세그멘테이션 정확도를 향상시킬 수 있는가?
• RQ2 딥 러닝 보완 모듈에 사용자 제공 시드 포인트를 통합하면, 오직 자동으로 생성된 시드 포인트에 의존하거나 상호작용이 없는 방법보다 성능이 향상되는가?
• RQ3 훈련 중에 자체적으로 시드 포인트를 생성하도록 훈련된 보완 네트워크가 추론 시에는 오직 사용자가 제공한 시드 포인트만을 요구할 수 있는가?
• RQ4 2D 및 반자동 슬라이스 단위 세그멘테이션에서 제안된 방법이 CRF, GAN, 그래프 컷과 비교해 Dice 스코어, 민감도, 양성 예측도 측면에서 어떻게 성능을 내는가?
• RQ5 기존의 상호작용 방법들인 DEXTR나 그래프 컷과 비교해 복잡한 해부학적 영역에서 과세그멘테이션과 과소세그멘테이션을 줄이는가?

주요 결과

• 제안된 RefineNet는 2D 슬라이스 세그멘테이션에서 U-Net 기준으로 Dice 스코어 0.960, FCN 기준으로 0.941을 달성했으며, 원본 네트워크(0.729 및 0.709)를 크게 능가하고 최신 기법들과 비교해도 동등하거나 슈퍼리어한 성능을 보였다.
• 반자동 슬라이스 단위 세그멘테이션에서 RefineNet는 Dice 스코어 0.937을 기록했으며, 그래프 컷(0.890), 형태 제약 조건이 있는 그래프 컷(0.926), DEXTR(0.582)를 모두 초월했다.
• 시각화 결과(그림 4)에 따르면, 복잡한 간 영역(예: 슬라이스 83 및 92)에서 그래프 컷 및 형태 제약 조건이 있는 그래프 컷 대비 과세그멘테이션과 과소세그멘테이션을 줄였다.
• RefineNet는 2D 및 반자동 설정 모두에서 높은 성능를 유지하여 다양한 세그멘테이션 시나리오에 대한 강건성과 일반화 능력을 보였다.
• 훈련 중 자동으로 시드 포인트를 생성하는 통합 기능 덕분에 엔드 투 엔드 학습이 가능했으며, 추론 시에는 오직 사용자가 제공한 시드 포인트만 필요로 하여 사용성 향상을 이뤘다.
• 동일한 백본에 대해 후처리 단계로 사용했을 때 RefineNet가 CRF, GAN, 그래프 컷을 모두 능가함으로써, 전용 보완 모듈로서의 효과성을 입증했다.