[논문 리뷰] Dilated SpineNet for Semantic Segmentation

Abdullah Rashwan, Xianzhi Du외 2명|arXiv (Cornell University)|2021. 03. 23.

Advanced Neural Network Applications참고 문헌 53인용 수 6

한 줄 요약

이 논문은 스케일 순열 특징 병합과 확장 컨볼루션을 통합하여 공간 해상도를 유지하고 다중 척도 특징 학습을 향상시키는 신경망 아키텍처 탐색(NAS)에 의해 발견된 백본인 Dilated SpineNet(SpineNet-Seg)을 제안한다. 이 방법은 추가 학습 데이터나 다중 척도 추론 없이 단일 모델, 단일 척도 추론에서 Cityscapes(83.04% mIoU)와 PASCAL VOC2012(85.56% mIoU)에서 최신 기술 수준을 달성하며, 모든 모델 척도에서 DeepLabv3/v3+ 기준선을 능가하지만 파rameter 수와 FLOPs가 더 적다.

ABSTRACT

Scale-permuted networks have shown promising results on object bounding box detection and instance segmentation. Scale permutation and cross-scale fusion of features enable the network to capture multi-scale semantics while preserving spatial resolution. In this work, we evaluate this meta-architecture design on semantic segmentation - another vision task that benefits from high spatial resolution and multi-scale feature fusion at different network stages. By further leveraging dilated convolution operations, we propose SpineNet-Seg, a network discovered by NAS that is searched from the DeepLabv3 system. SpineNet-Seg is designed with a better scale-permuted network topology with customized dilation ratios per block on a semantic segmentation task. SpineNet-Seg models outperform the DeepLabv3/v3+ baselines at all model scales on multiple popular benchmarks in speed and accuracy. In particular, our SpineNet-S143+ model achieves the new state-of-the-art on the popular Cityscapes benchmark at 83.04% mIoU and attained strong performance on the PASCAL VOC2012 benchmark at 85.56% mIoU. SpineNet-Seg models also show promising results on a challenging Street View segmentation dataset. Code and checkpoints will be open-sourced.

연구 동기 및 목표

• 스케일 순열 네트워크가 객체 검출에서 성공적이었던 바, 이들이 정밀도가 높고 공간 해상도가 중요한 세분화 작업에 효과적으로 적용될 수 있는지 평가하기 위해.
• 세분화 작업을 위해 스케일 순열, 크로스 스케일 연결, 블록 조정, 확장 비율을 동시에 최적화하는 공동 검색 공간을 설계하기 위해.
• 일반형 및 모바일 크기의 세분화 작업을 위한 효율적이고 고성능 모델을 개발하여 기존 기준선을 초월하는 정확도와 효율성 확보하기 위해.
• 추가 학습 데이터나 다중 척도 추론 없이 주요 벤치마크에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 저자들은 아키텍처 탐색을 가속화하기 위해 이미지넷 스타일의 축소된 이미지(384×384)와 감소된 특징 차원을 사용하여 프록시 작업을 설계한다.
• 스케일 순열 연결, 크로스 스케일 특징 병합, 블록 깊이 조정, 블록별 확장 비율을 동시에 최적화하는 새로운 검색 공간을 도입한다.
• NAS 컨트롤러는 PASCAL VOC2012 검증 세트의 mIoU를 보상 신호로 사용하며, 10,000개의 후보 아키텍처를 신속하게 평가할 수 있도록 프록시 작업을 활용한다.
• 최종 아키텍처인 SpineNet-S49는 고정밀도 세분화를 위해 SpineNet-S143+로 확장되고, 효율적인 추론을 위해 Mobile SpineNet-Seg로 변형된다.
• 검색된 아키텍처에 확장 컨볼루션을 통합하여 공간 해상도를 낮추지 않고도 넓은 수용 영역를 유지한다.
• 검색 기준으로 수정된 DeepLabv3 백본을 사용하며, NAS 동안 출력 스트라이드를 8로 조정하여 성능 향상을 극대화한다.

실험 결과

연구 질문

• RQ1 객체 검출에서 효과적이었던 스케일 순열 네트워크가 세분화 작업에 성공적으로 이식되어 성능 향상을 이끌 수 있는가?
• RQ2 스케일 순열 연결, 크로스 스케일 병합, 블록 깊이, 확장 비율을 함께 검색하는 것이 개별 검색이나 고정 설계보다 더 나은 세분화 모델을 도출하는가?
• RQ3 프록시 작업을 사용한 NAS가 계산 비용을 줄이며 세분화 벤치마크에서 높은 성능을 달성할 수 있는가?
• RQ4 최종 아키텍처가 단일 모델, 단일 척도 추론에서 기존 최신 기술 수준의 모델인 DeepLabv3/v3+를 초월하는가?
• RQ5 검색된 아키텍처가 고정밀도 및 모바일 최적화된 세분화 작업에 효과적으로 확장될 수 있는가?

주요 결과

• SpineNet-S143+는 추가 학습 데이터 없이 단일 모델, 단일 척도 추론으로 Cityscapes 벤치마크에서 최신 기술 수준의 mIoU 83.04%를 달성한다.
• PASCAL VOC2012에서 SpineNet-S143+는 85.56% mIoU를 기록하며, DeepLabv3/v3+ 기준선보다 2.47% 높은 mIoU를 기록하고 FLOPs는 15% 줄였다.
• 모바일 최적화된 SpineNet-S49- 모델은 계산 비용을 줄였음에도 불구하고 MobileNetV3 기반의 DeepLab 모델보다 +2.5% mIoU 높은 성능을 보였다.
• COCO Things 애너테이션을 사용한 NAS 프록시 작업이 가장 높은 성능을 보였으며, PASCAL VOC2012에서 기준선 대비 +2.47% mIoU 향상을 달성했다.
• 절단 분석 결과 스케일 순열 네트워크와 확장 비율의 공동 검색이 +2.47% mIoU 향상을 가져오며, 출력 스트라이드 8이 최적임을 확인했다.
• 기준선 DeepLabv3에 비해 ResNet-S50를 검색 기준으로 사용했을 때 +2.06% mIoU 향상이 있었으며, 이는 NAS 접근법의 효과성을 입증한다.