[논문 리뷰] UI-Net: Interactive Artificial Neural Networks for Iterative Image Segmentation Based on a User Model

Mario Amrehn, Sven Gaube외 7명|arXiv (Cornell University)|2017. 01. 01.

Advanced Neural Network Applications참고 문헌 13인용 수 12

한 줄 요약

이 논문은 사용자가 제공한 스케치를 동적 입력으로 통합하는 딥러닝 프레임워크인 UI-Net을 제안한다. 이는 완전 컨volution 신경망(FCN)에 통합되어 반복적 의료 영상 분할을 수행한다. 규칙 기반 사용자 모델을 사용하여 실제 사용자 상호작용을 시뮬레이션하는 방식으로 네트워크를 훈련시킴으로써, 비상호작용 FCN 및 상호작용형 GrowCut에 비해 분할 정확도가 향상되었으며, 특히 내시적 방사선검사에서 흔한 저자료 환경에서 6% 높은 Dice 점수를 기록하였다.

ABSTRACT

For complex segmentation tasks, fully automatic systems are inherently limited in their achievable accuracy for extracting relevant objects. Especially in cases where only few data sets need to be processed for a highly accurate result, semi-automatic segmentation techniques exhibit a clear benefit for the user. One area of application is medical image processing during an intervention for a single patient.We propose a learning-based cooperative segmentation approach which includes the computing entity as well as the user into the task. Our system builds upon a state-of-the-art fully convolutional artificial neural network (FCN) as well as an active user model for training. During the segmentation process, a user of the trained system can iteratively add additional hints in form of pictorial scribbles as seed points into the FCN system to achieve an interactive and precise segmentation result. The segmentation quality of interactive FCNs is evaluated. Iterative FCN approaches can yield superior results compared to networks without the user input channel component, due to a consistent improvement in segmentation quality after each interaction.

연구 동기 및 목표

• 희귀하거나 매우 다양성이 큰 병변에 대해 완전 자동 분할 기술의 한계를 해결하기 위해.
• 예를 들어 TACE 중 간 종양 분할과 같이 표본이 제한된 경우에 분할 정확도를 향상시키기 위해.
• 전문가의 사용자 입력을 효율적으로 활용하는 반복적이고 반복 가능한 개선 방식을 갖춘 반자동 시스템을 개발하기 위해.
• 분할 과정에서 실제 인간의 상호작용을 유사하게 시뮬레이션하는 규칙 기반 사용자 모델을 사용하여 딥 뉴럴 네트워크를 훈련시키기 위해.

제안 방법

• 완전 컨volution 신경망(FCN)에 사용자가 제공한 스케치(시드 포인트)를 나타내는 추가 입력 브런치를 통합하여 확장한다. 이는 전경 및 배경 영역을 의미한다.
• 규칙 기반 활성 사용자 모델은 현재 분할 오류를 기반으로 타당한 시드 포인트를 생성함으로써 훈련 중 실제 사용자 행동을 시뮬레이션한다.
• 손실 함수에 진짜 분할 결과와 시뮬레이션된 사용자 입력을 결합하여, 모델이 상호작용 피드백으로부터 학습할 수 있도록 엔드 투 엔드로 네트워크를 훈련시킨다.
• 훈련 과정에서 각 반복 후에 새로운 시드 포인트를 생성하는 동적 사용자 모델을 사용하여 실시간 사용자 수정을 시뮬레이션한다.
• 이중 구조를 갖춘 U-Net 유사 인코더-디코더 아키텍처를 사용하며, 스위치 연결을 통해 이미지 및 시드 마스크 입력을 모두 수용하도록 조정한다.
• 전이 학습을 대체 훈련 전략으로 고려하며, 사전 훈련된 FCN를 특징 추출기로 사용하고, 두 번째 FCN는 사용자 입력을 통해 미세조정한다.

실험 결과

연구 질문

• RQ1 추론 중에 상호작용형 사용자 스케치를 통합할 수 있는 딥 뉴럴 네트워크를 훈련시킬 수 있는가? 이는 정적 훈련을 초월해 분할 정확도를 향상시키는가?
• RQ2 시뮬레이션된 사용자 모델을 사용해 훈련하면 FCN의 반복적 분할 작업 성능에 어떤 영향을 미치는가?
• RQ3 반복적 사용자 입력이 분할 품질에 미치는 영향은 무엇이며, 반복 과정에서 일관된 향상이 이루어지는가?
• RQ4 규칙 기반 사용자 모델은 인간과 유사한 상호작용을 효과적으로 시뮬레이션하여 저자료 환경에서의 네트워크 일반화 능력을 향상시킬 수 있는가?
• RQ5 제안된 UI-Net은 비상호작용 FCN 및 상호작용형 GrowCut에 비해 분할 정확도 측면에서 정량적으로 어떻게 비교되는가?

주요 결과

• 활성 사용자 모델을 사용해 훈련한 UI-Net은 비상호작용 FCN 및 상호작용형 GrowCut 기준선 대비 평균 6% 향상된 Dice 점수를 기록하였다.
• 사용자 상호작용이 추가될수록 분할 품질 향상이 일관되고 측정 가능한 방식으로 나타나, 반복적 개선의 가치를 입증하였다.
• 초기 시드 포인트 수는 분할 성능에 상당한 영향을 미쳤으며, 높은 시드 포인트 수일수록 더 좋은 결과를 보였다.
• UI-Net의 상호작용 버전은 복잡한 경우, 특히 강도가 겹치는 영역과 괴사 영역이 존재하는 경우 비상호작용 및 정적 기준선보다 뛰어난 성능을 보였다.
• 시뮬레이션된 사용자 모델을 사용한 훈련은 실제 사용자 상호작용에 더 잘 일반화될 수 있도록 도와주어 광범위한 수동 레이블링이 필요로 하는 상황을 줄였다.
• 이 방법은 오직 몇 개의 레이블링된 사례만 존재하는 저자료 환경에서 특히 효과적이며, 임상적 내시적 워크플로우에 적합하다.