[논문 리뷰] Real-time Semantic Image Segmentation via Spatial Sparsity

Zifeng Wu, Chunhua Shen외 1명|arXiv (Cornell University)|2017. 12. 01.

Advanced Neural Network Applications참고 문헌 20인용 수 53

한 줄 요약

이 논문은 고해상도 경로에서 처리를 건너뛰기 위해 두 컬럼 FCN에 공간 희소성을 도입하여 Cityscapes에서 약 25배 속도 향상을 달성하되 정밀도 손실은 제한적이다. 개선된 모델은 GTX 980에서 실시간 속도에 도달하여 평균 IoU 72.9%를 달성한다.

ABSTRACT

We propose an approach to semantic (image) segmentation that reduces the computational costs by a factor of 25 with limited impact on the quality of results. Semantic segmentation has a number of practical applications, and for most such applications the computational costs are critical. The method follows a typical two-column network structure, where one column accepts an input image, while the other accepts a half-resolution version of that image. By identifying specific regions in the full-resolution image that can be safely ignored, as well as carefully tailoring the network structure, we can process approximately 15 highresolution Cityscapes images (1024x2048) per second using a single GTX 980 video card, while achieving a mean intersection-over-union score of 72.9% on the Cityscapes test set.

연구 동기 및 목표

• Cityscapes를 위한 고해상도 이미지의 실시간 의미 분할에 대한 동기를 부여한다.
• 큰 정확도 손실 없이 계산량을 줄이기 위한 공간 희소성을 도입한다.
• 거친-세밀 융합 및 칼럼 간 연결을 가진 두 컬럼 아키텍처를 탐구한다.
• Cityscapes에서 최첨단 방법과 비교한 효과성과 속도를 평가한다.

제안 방법

• 절반 해상도 입력과 전체 해상도 입력을 갖는 두 컬럼 FCN을 확장한다.
• 전체 해상도 경로에서 건너뛸 수 있는 영역을 식별하기 위한 희소 가중치 맵을 도입한다.
• 확률적 활성화 제약 및 이미지별 영역 패 penalties를 통해 희소성을 학습한다.
• 빠른 추론을 안정화하기 위해 거친-세밀 융합, 언crop 학습, 그리고 칼럼 간 연결을 도입한다.
• 정량적으로 잔차 단위를 제거하여 계산량을 줄이고, 정확도 손실을 완화하기 위한 학습 전략을 적용한다.

실험 결과

연구 질문

• RQ1 두 컬럼 FCN에서의 공간 희소성이 큰 정확도 하락 없이 고해상도 의미 분할의 계산량을 상당히 줄일 수 있는가?
• RQ2 거친-세밀 융합에서의 희소성이 Cityscapes에서 다른 융합 전략들과 비교하여 어떤 차이를 보이는가?
• RQ3 빠른 추론 하에서 어떤 학습 전략(언컷, 칼럼 간 연결, 잔차 단위 제거)이 정확도를 가장 잘 유지하는가?
• RQ4 제안 ISCTF 모델로 Cityscapes에서 속도와 분할 품질 간의 무역은 어떠한가?

주요 결과

Method	Mean IoU	Time/Speed	Computations (g)	Notes
FCN-8s	65.3%	500ms	–	Baseline on Cityscapes test set
DeepLab-v2	71.4%	625ms	–	Baseline on Cityscapes test set
RefineNet	73.6%	–	–	Baseline on Cityscapes test set
PSPNet	80.2%	–	–	Baseline on Cityscapes test set
SegNet	57.0%	60ms	–	Baseline on Cityscapes test set
ENet	58.3%	13ms	–	Baseline on Cityscapes test set
Ours	72.9%	68ms	–	This work (best reported)

• 희소 거친-세밀(SCTF) 방식은 약 35%의 계산량을 감소시키지만 기초 거친-세밀 방법에 비해 평균 IoU가 약간 감소하여 0.42% 포인트 더 낮아진다.
• 향상된 희소 거친-세밀(ISCTF) 방식은 비희소 기준선과 같거나 약간 능가하며, 한 구성에서 139g 계산에서 평균 IoU 75.40%를 달성한다.
• ISCTF로의 빠른 추론은 SCTF에서 관측된 경계 이슈를 완화하며 일관된 결과를 제공한다.
• Cityscapes 검증 세트에서 공간 희소성과 빠른 추론은 최대 약 50%의 계산 감소를 가져오며 정확도 손실은 설정에 따라 최대 약 0.6%까지도 가능하다.
• 제 방법은 최적의 트레이드오프 구성(ISCTF)을 사용할 때 대략 25배의 계산 비용 감소(베이스라인 31.5g vs 786g)와 약 2.0% 평균 IoU 하락을 달성한다.
• 이전의 실시간 방법들과 비교하여 제안된 접근법은 GTX 980에서 14.7 fps(이미지당 68 ms)로 평균 IoU 72.9%를 달성한다.