[논문 리뷰] Stacked U-Nets: A No-Frills Approach to Natural Image Segmentation

Sohil Shah, Pallabi Ghosh외 2명|arXiv (Cornell University)|2018. 04. 27.

Advanced Neural Network Applications참고 문헌 44인용 수 33

한 줄 요약

이 논문은 다중 스케일 특징을 여러 U-Net 블록을 통해 반복적으로 융합함으로써 고해상도 공간적 세부 정보를 유지하면서도 맥락 정보를 전역화하는 경량이며 깊이 있는 아키텍처인 스택드 U-넷(SUNets)을 제안한다. 이는 복잡한 보조 모듈을 더 깊고 파rameter 효율적인 U-Net 유닛의 스택으로 대체하여, PASCAL VOC 2012에서 ResNet-101보다 4.5% 높은 mIoU를 기록하면서도 약 7배 적은 파라미터를 사용함으로써 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Many imaging tasks require global information about all pixels in an image. Conventional bottom-up classification networks globalize information by decreasing resolution; features are pooled and downsampled into a single output. But for semantic segmentation and object detection tasks, a network must provide higher-resolution pixel-level outputs. To globalize information while preserving resolution, many researchers propose the inclusion of sophisticated auxiliary blocks, but these come at the cost of a considerable increase in network size and computational cost. This paper proposes stacked u-nets (SUNets), which iteratively combine features from different resolution scales while maintaining resolution. SUNets leverage the information globalization power of u-nets in a deeper network architectures that is capable of handling the complexity of natural images. SUNets perform extremely well on semantic segmentation tasks using a small number of parameters.

연구 동기 및 목표

• 자연 이미지 세분화에서 고해상도 공간적 세부 정보를 유지하면서 장거리 맥락 정보를 캡처하는 도전 과제를 해결하기 위해.
• 복잡한 보조 맥락 모듈이나 깊은 분류 백본에 의존하는 기존 세분화 모델의 계산 및 파라미터 부담을 줄이기 위해.
• 모델 크기나 추론 비용을 늘리지 않고도 세분화 작업 성능을 향상시키기 위해.
• U-Net 블록을 스택하는 것이 단일 U-Net 또는 보조 헤드가 있는 깊은 분류 네트워크보다 더 나은 특징 표현을 가능하게 하는지 탐색하기 위해.

제안 방법

• 스택드 U-넷(SUNets)은 깊이 있는 아키텍처에서 여러 U-Net 블록을 스택하여 다양한 해상도 수준 간의 반복적 융합을 가능하게 한다.
• 각 U-Net 블록은 스트라이드 컨벌루션을 사용한 인코딩(다운샘플링)과 디컨벌루션을 사용한 디코딩(업샘플링)을 수행하여 해상도를 유지하면서 맥락 정보를 통합한다.
• 확장 컨벌루션과 다중 그리드 전략을 피하고, 격자 무늬 아티팩트를 줄이기 위해 스트라이드 컨벌루션 후에 드리그리드 레이어를 사용한다.
• 에코더 경로와 디코더 경로 사이의 스킵 커넥션에서 온 특징 맵을 각 수준에서 연결하여 공간적 세부 정보를 유지하고 표현을 풍부하게 한다.
• 특징 맵의 복수 스케일 추론을 통해 추론 중 표준 교차 엔트로피 손실을 사용하여 네트워크를 훈련시킨다.
• SUNet-7-128라는 변형은 7개의 스택된 U-Net 블록과 각 레이어당 128개 필터를 사용하여 낮은 파라미터 수로 높은 성능을 달성한다.

실험 결과

연구 질문

• RQ1 스택된 U-Net 블록으로 구성된 더 깊은 아키텍처가 자연 이미지 세분화에서 표준 U-Net 및 ResNet 기반 모델을 능가할 수 있는가?
• RQ2 복잡한 보조 맥락 모듈(예: ASPP, CRF)을 제거하면서도 고해상도 출력을 유지하면 효율성과 성능이 향상되는가?
• RQ3 가벼운 파라미터 효율적인 아키텍처가 무거운 사전 훈련된 백본에 의존하지 않고도 PASCAL VOC 2012에서 최신 기술 수준의 mIoU를 달성할 수 있는 정도는 어느 정도인가?
• RQ4 U-Net 블록을 스택함으로써 단일 U-Net 또는 깊은 분류 네트워크와 비교해 특징 표현과 일반화 능력에 어떤 영향을 미치는가?

주요 결과

• SUNet-7-128은 Cityscapes 테스트 세트에서 84.3%의 mIoU를 기록하여 RefineNet-ResNet152와 DeepLabv2+CRF와 같은 여러 최신 기술 수준의 모델을 능가한다.
• PASCAL VOC 2012에서 SUNet-7-128은 테스트 세트에서 83.34%의 mIoU를 기록하여 ResNet-101보다 4.5% 높은 성능을 보였으며, 파라미터 수는 약 7배 적게 사용했다.
• 모델은 오직 250만 개의 파라미터로도 뛰어난 성능을 달성하여, PSPNet(3000만 개 더 많은 파라미터) 및 기타 보조 모듈 기반 모델들보다 파라미터 수를 크게 줄였다.
• 정성적 결과에서는 SUNets가 격자 무늬 아티팩트가 줄어든 일관되고 선명한 세분화 맵을 생성함을 확인할 수 있었으며, 특히 드리그리드 레이어를 사용할 경우 더욱 두드러졌다.
• PASCAL VOC 2012 및 Cityscapes 벤치마크에서의 강력한 성능을 통해 아키텍처가 다양한 자연 이미지 분포로 일반화하는 데 뛰어난 능력을 보였다.
• 제거 분석 결과, 확장 컨벌루션보다 스트라이드 컨벌루션과 드리그리드 레이어 조합이 특징 맵의 일관성과 세분화 품질 측면에서 뛰어난 성능을 보였다.