[논문 리뷰] End-to-end detection-segmentation network with ROI convolution

Zichen Zhang, Min Tang외 4명|arXiv (Cornell University)|2018. 01. 08.

Advanced Neural Network Applications참고 문헌 13인용 수 6

한 줄 요약

이 논문은 초음파 영상에서 소형 객체의 의미적 세그멘테이션 성능을 향상시키기 위해 ROI 컨벌루션을 사용하는 엔드 투 엔드 검출-세그멘테이션 네트워크를 제안한다. 영역 제안 네트워크(RPN)를 통합하고 ROI 풀링을 대체하여 유연한 ROI 컨벌루션을 도입함으로써, 검출 및 세그멘테이션 작업을 함께 훈련할 수 있도록 하였으며, 이로 인해 어려운 소형 객체 세그멘테이션 작업에서 38.6%의 Dice 스코어를 달성하였다. 이는 FCN-32s(22.3%)와 U-Net(4.9%)를 크게 앞서는 성능이다.

ABSTRACT

We propose an end-to-end neural network that improves the segmentation accuracy of fully convolutional networks by incorporating a localization unit. This network performs object localization first, which is then used as a cue to guide the training of the segmentation network. We test the proposed method on a segmentation task of small objects on a clinical dataset of ultrasound images. We show that by jointly learning for detection and segmentation, the proposed network is able to improve the segmentation accuracy compared to only learning for segmentation. Code is publicly available at https://github.com/vincentzhang/roi-fcn.

연구 동기 및 목표

• 의료 초음파 영상에서 소형 객체의 의미적 세그멘테이션 정확도를 향상시키기 위해, 클래스 불균형과 낮은 해상도로 인해 성능이 저하되는 문제를 해결한다.
• 배경이 지배하는 현상과 특징 해상도 손실로 인해 완전히 컨벌루션된 네트워크(FCNs)가 소형 객체를 정확히 국소화하고 세그멘테이션하는 데 한계가 있음을 해결한다.
• 영역 제안을 통해 특징 학습을 이끌어내는 영역 제안을 활용하여 객체 검출을 세그멘테이션의 사전 조건으로 통합한다.
• 영역별 처리나 ROI 풀링이 필요 없도록, 이미지 전체에 대해 적용 가능한 유연한, 백프로파게이션 가능한 ROI 컨벌루션 레이어를 도입함으로써 이를 제거한다.
• 국소화와 픽셀 단위 분류 최적화를 동시에 수행할 수 있도록, 통합된 검출-세그멘테이션 네트워크를 엔드 투 엔드로 훈련할 수 있도록 한다.

제안 방법

• 네트워크는 VGG16을 백본 특징 추출기로 사용하며, 이를 바탕으로 객체 제안(ROIs)을 생성하는 영역 제안 네트워크(RPN)를 적용한다. 이 제안은 바운딩 박스 형태로 제공된다.
• 새로운 ROI 컨벌루션 레이어를 도입하여, 단일 순방향 전파 동안 모든 ROIs에 대해 직접 컨벌루션을 적용함으로써 기존의 ROI 풀링을 대체한다. 이로 인해 공간 해상도를 유지할 수 있다.
• ROI 컨벌루션 레이어는 백프로파게이션을 통해 훈련 가능하며, 검출 및 세그멘테이션 작업의 엔드 투 엔드 최적화를 가능하게 한다.
• 세그멘테이션 헤드는 ROI 컨벌루션 레이어의 특징을 처리하여 픽셀 단위 레이블을 예측하며, 검출(RPN) 및 세그멘테이션(세그멘테이션 헤드) 브랜치 간에 공동으로 손실을 계산한다.
• 모든 ROIs를 동시에 적용함으로써 영역별 처리를 피함으로써 계산 오버헤드를 줄이고 세밀한 공간적 세부 정보를 유지한다.
• 다중 작업 손실을 사용하여 RPN 분류 및 회귀 손실과 세그멘테이션 교차 엔트로피 손실을 조합하여, 공동 최적화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 의료 초음파 영상에서 소형 객체 세그멘테이션 정확도를 향상시키기 위해 객체 검출을 국소화 사전 조건으로 통합하는 것이 효과적인가?
• RQ2 ROI 풀링을 유연한 ROI 컨벌루션 레이어로 대체함으로써 특징 보존이 향상되고 세그멘테이션 성능이 향상되는가?
• RQ3 엔드 투 엔드로 훈련 가능한 검출-세그멘테이션 네트워크가 표준 FCN 및 U-Net 아키텍처를 소형 객체 세그멘테이션 작업에서 능가할 수 있는가?
• RQ4 RPN에서 유도된 ROIs의 사용이 고도로 불균형한 클래스 분포 상황에서 세그멘테이션 특징 학습에 어떤 영향을 미치는가?
• RQ5 영역별 처리 대비 ROI 컨벌루션을 통한 이미지 전체 처리 방식이 계산 오버헤드를 얼마나 줄이는가?

주요 결과

• 제안된 RPN-FCN 방법은 동일한 테스트 세트에서 38.6%의 Dice 스코어를 기록하여, FCN-32s(22.3%)와 U-Net(4.9%)를 크게 앞서는 성능을 보였다.
• 검출 손실 없이 훈련된 기본 RPN-FCN(RPN-FCN-noPool5-scratch)은 단지 22.8%의 Dice 스코어를 기록하여, 검출과 함께 훈련함으로써 세그멘테이션 성능이 향상됨을 확인하였다.
• RPN-FCN 모델은 명확한 아세타불럼 구조를 가진 슬라이스에서 부드럽고 일관성 있는 세그멘테이션 마스크를 생성한 반면, U-Net은 어떤 양성 영역도 탐지하지 못했다.
• 표준 FCN 대비 ROI 컨벌루션을 사용함으로써 더 높은 해상도의 특징을 유지하여, 극도로 강한 업샘플링이 필요 없어졌고, 소형 객체의 표현력이 향상되었다.
• 클래스 불균형의 영향을 효과적으로 완화하기 위해, 세그멘테이션 네트워크가 관련 영역에 집중하도록 함으로써 재현율(55.1%)이 U-Net(6.3%)보다 향상된 것으로 나타났다.
• 시각화 결과는 네트워크가 아세타불럼 영역을 정확히 국소화하고, 저대비 초음파 영상에서도 의미 있는 세그멘테이션 출력을 생성함을 확인하였다.