[논문 리뷰] ShelfNet for Real-time Semantic Segmentation

Juntang Zhuang, Junlin Yang|arXiv (Cornell University)|2018. 11. 27.

Advanced Neural Network Applications참고 문헌 30인용 수 8

한 줄 요약

ShelfNet는 실시간 세분화를 위한 새로운 효율적인 아키텍처로, 여러 개의 인코더-디코더 브랜치 쌍과 각 공간 수준에서의 스킵 연결을 갖춘 셸프형 구조를 사용한다. 잔차 블록 내에서 채널 수를 줄이고 공유 가중치 전략을 적용함으로써, PSPNet 대비 4배 빠른 추론 속도를 달성하면서 Cityscapes에서 BiSeNet보다 높은 정확도를 확보하여 ResNet34 백본을 사용할 경우 79.0% mIoU를 달성한다.

ABSTRACT

In this paper, we present ShelfNet, a novel architecture for accurate fast semantic segmentation. Different from the single encoder-decoder structure, ShelfNet has multiple encoder-decoder branch pairs with skip connections at each spatial level, which looks like a shelf with multiple columns. The shelf-shaped structure can be viewed as an ensemble of multiple deep and shallow paths, thus improving accuracy. We significantly reduce computation burden by reducing channel number, at the same time achieving high accuracy with this unique structure. In addition, we propose a shared-weight strategy in the residual block which reduces parameter number without sacrificing performance. Compared with popular non real-time methods such as PSPNet, our ShelfNet achieves 4$ imes$ faster inference speed with similar accuracy on PASCAL VOC dataset. Compared with real-time segmentation models such as BiSeNet, our model achieves higher accuracy at comparable speed on the Cityscapes Dataset, enabling the application in speed-demanding tasks such as street-scene understanding for autonomous driving. Furthermore, our ShelfNet achieves 79.0\% mIoU on Cityscapes Dataset with ResNet34 backbone, outperforming PSPNet and BiSeNet with large backbones such as ResNet101. Through extensive experiments, we validated the superior performance of ShelfNet. We provide link to the implementation \url{this https URL}.

연구 동기 및 목표

• 자율주행과 같은 속도가 중요한 애플리케이션을 위해 실시간 세분화 성능을 유지하면서도 높은 정확도를 확보하는 실시간 세분화 모델을 개발하는 것.
• 기존 딥 러닝 모델에서 추론 속도와 세분화 정확도 사이의 상충 관계를 해결하는 것.
• 구조적 혁신을 통해 계산 비용과 파라미터 수를 줄이되 성능을 훼손하지 않는 것.
• 모델 복잡도를 최소화하여 자원 제약이 있는 장치에서도 효율적인 배포를 가능하게 하는 것.

제안 방법

• ShelfNet는 각 공간 수준에서 스킵 연결이 연결된 여러 개의 병렬 인코더-디코더 브랜치 쌍으로 구성된 셸프형 아키텍처를 사용한다.
• 모든 브랜치에서 채널 차원을 줄여 FLOPs와 파라미터 수를 크게 감소시킨다.
• 잔차 블록 내에서 공유 가중치 전략을 적용하여 모델 파라미터를 줄이면서도 특징 표현 능력을 유지한다.
• 다중 스케일에서 스킵 연결을 구현하여 특징 융합과 기울기 흐름을 향상시킨다.
• 경량 백본(예: ResNet34)과의 호환성을 고려해 설계되어 있다.
• PASCAL VOC 및 Cityscapes와 같은 표준 벤치마크에서 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 다중 브랜치 인코더-디코더 구조는 실시간 추론 속도를 유지하면서도 세분화 정확도를 향상시킬 수 있는가?
• RQ2 브랜치 전반에 걸쳐 채널 차원을 줄이면 모델 성능과 효율성에 어떤 영향을 미치는가?
• RQ3 잔차 블록 내 공유 가중치 전략이 정확도를 떨어뜨리지 않고 파라미터를 얼마나 줄일 수 있는가?
• RQ4 ShelfNet은 최신 비실시간 및 실시간 모델들과 비교해 속도-정확도 상충 관계에서 어떤 성능을 보이는가?
• RQ5 ResNet34와 같은 경량 백본이 셸프형 아키텍처와 조합될 경우 경쟁력 있는 성능을 달성할 수 있는가?

주요 결과

• PASCAL VOC 데이터셋에서 ShelfNet는 PSPNet 대비 4배 빠른 추론 속도를 확보하면서도 유사한 정확도를 유지한다.
• Cityscapes 데이터셋에서 ResNet34 백본을 사용한 ShelfNet는 79.0% mIoU를 달성하여 더 큰 백본을 사용한 PSPNet 및 BiSeNet를 모두 능가한다.
• BiSeNet 수준의 유사한 추론 속도를 확보하면서도 Cityscapes에서 훨씬 높은 정확도를 확보한다.
• 잔차 블록 내 공유 가중치 전략은 성능 저하 없이 모델 파라미터를 줄였다.
• 다중 수준 스킵 연결과 다중 브랜치 구조는 특징 학습과 기울기 흐름을 향상시켜 정확도 향상에 기여한다.
• 이 아키텍처는 높은 효율성과 확장성을 보이며, 자율주행과 같은 실시간 응용 분야에 적합하다.