[논문 리뷰] Recurrent U-Net for Resource-Constrained Segmentation

Wei Wang, Kaicheng Yu외 3명|arXiv (Cornell University)|2019. 06. 11.

Advanced Neural Network Applications참고 문헌 37인용 수 12

한 줄 요약

이 논문은 반복적으로 여러 층을 거쳐 세그멘테이션 마스크와 내부 네트워크 상태를 개선함으로써 분할 성능을 햖थ고, 단지 0.3백만 파라미터로도 수 hand, 망막 혈관, 도로 분할 작업에서 최신 기술(SOTA) 성능을 달성하여, 자원이 제한된 데이터셋에서 DeepLabV3+와 RefineNet과 같은 더 큰 모델들을 능가한다.

ABSTRACT

State-of-the-art segmentation methods rely on very deep networks that are not always easy to train without very large training datasets and tend to be relatively slow to run on standard GPUs. In this paper, we introduce a novel recurrent U-Net architecture that preserves the compactness of the original U-Net, while substantially increasing its performance to the point where it outperforms the state of the art on several benchmarks. We will demonstrate its effectiveness for several tasks, including hand segmentation, retina vessel segmentation, and road segmentation. We also introduce a large-scale dataset for hand segmentation.

연구 동기 및 목표

• AR 헤드셋과 같은 자원이 제한된 환경에서 깊고 파라미터가 많은 분할 모델의 한계를 해결하기 위해.
• 모델 크기를 늘리거나 대규모 사전 훈련 데이터셋을 요구하지 않고도, 컴act U-Net 아키텍처의 성능을 향상시키기 위해.
• 대규모 모델이 과적합하는 작은 전용 데이터셋에서 실시간 추론을 가능하게 하며 고정확도를 유지하기 위해.
• 저데이터 환경에서의 벤치마킹을 지원하기 위해 새로운 대규모 수동 분할 데이터셋을 제공하기 위해.
• 단일 U-Net 층에 반복적으로 적용하는 것보다 여러 U-Net 층을 거쳐 반복 개선하는 것이 더 우수한 성능을 내는지 확인하기 위해.

제안 방법

• U-Net의 여러 인코더 및 디코더 층을 감싸는 반복 유닛(DRU)을 도입하여 내부 표현을 반복적으로 개선할 수 있도록 한다.
• 반복 반복에 걸쳐 파라미터 공유를 사용하여 낮은 메모리 사용량과 계산 비용을 유지한다.
• 분할 마스크와 네트워크의 내부 은닉 상태를 피드백 루프에서 동시에 업데이트하는 반복을 적용한다.
• 단일 층의 RNN과 달리, 여러 층을 거쳐 고수준 특징을 반복적으로 개선할 수 있도록 반복을 다수의 층에 걸쳐 적용한다.
• ImageNet 사전 훈련에 의존하지 않고, 작은 데이터셋에서부터 모델을 처음부터 훈련시킨다.
• DRU에 대해 깊이 4의 잔차 U-Net 백본을 사용하여 효율적인 특징 전파와 개선을 가능하게 한다.

실험 결과

연구 질문

• RQ1 모델 크기를 늘리지 않고도, 반복 U-Net 아키텍처가 작은 데이터셋에서 분할 정확도를 향상시킬 수 있는가?
• RQ2 단일 은닉 층만 업데이트하는 간단한 반복 기반 모델과 비교해, 여러 U-Net 층을 거쳐 반복적으로 개선하는 것이 더 나은 성능을 내는가?
• RQ3 단지 0.3백만 파라미터만을 가진 컴 pact 모델이 전문화된 작업에서 DeepLabV3+와 RefineNet과 같은 큰 사전 훈련 모델들을 능가할 수 있는가?
• RQ4 손, 망막 혈관 분할과 같이 훈련 샘플이 제한된 데이터셋에서 제안된 방법의 성능은 어떠한가?
• RQ5 소비자 수준 하드웨어에서 고정확도를 유지하면서도 실시간 추론을 수행할 수 있는가?

주요 결과

• 새로운 키보드 수동 데이터셋(12.5만 장의 이미지)에서 제안된 반복 U-Net은 Titan X GPU에서 55 프레임/초의 성능을 기록하여 실시간 성능을 입증했다.
• DRIVE 망막 혈관 데이터셋에서 모델은 mIoU 0.821을 달성했으며, 이는 이전 SOTA 방법보다 우수한 성능이다 (이전 F1 점수: 0.822, 본 논문의 성능: 0.92).
• Cityscapes 검증 세트에서 DRU-VGG16 버전은 mIoU 0.761을 기록했으며, ResNet101 백본을 사용한 DeepLabV3+와 동등한 성능을 보였다.
• 도로 분할 작업에서 제안된 방법은 mIoU 0.560을 달성했으며, U-Net-G보다 8%p 높고, DRU-VGG16보다도 5%p 높았다.
• ICNet 대비 속도-정확도 트레이드오프에서 뛰어난 성능을 보였으며, 더 빠른 속도로 더 높은 정확도를 달성했다.
• 새로운 12.5만 장의 이미지 데이터셋 포함 다섯 가지 벤치마크에서 수동 분할 작업에서 전반적으로 RefineNet 기반 SOTA 방법들을 능가하는 뛰어난 성능을 기록했다.