[논문 리뷰] ENet: A Deep Neural Network Architecture for Real-Time Semantic Segmentation

Adam Paszke, Abhishek Chaurasia외 2명|arXiv (Cornell University)|2016. 06. 07.

Advanced Neural Network Applications인용 수 1,258

한 줄 요약

ENet은 이전 모델들보다 파라미터와 FLOP이 훨씬 적은 실시간 의미론적 분할을 위해 설계된 경량 인코더-디코더 네트워크로, Cityscapes, CamVid, SUN 데이터셋에서 임베디드 하드웨어로 운용되면서 경쟁력 있거나 우수한 정확도를 달성합니다.

ABSTRACT

The ability to perform pixel-wise semantic segmentation in real-time is of paramount importance in mobile applications. Recent deep neural networks aimed at this task have the disadvantage of requiring a large number of floating point operations and have long run-times that hinder their usability. In this paper, we propose a novel deep neural network architecture named ENet (efficient neural network), created specifically for tasks requiring low latency operation. ENet is up to 18$\ imes$ faster, requires 75$\ imes$ less FLOPs, has 79$\ imes$ less parameters, and provides similar or better accuracy to existing models. We have tested it on CamVid, Cityscapes and SUN datasets and report on comparisons with existing state-of-the-art methods, and the trade-offs between accuracy and processing time of a network. We present performance measurements of the proposed architecture on embedded systems and suggest possible software improvements that could make ENet even faster.

연구 동기 및 목표

• 저전력/모바일 디바이스에서의 실시간 픽셀 단위 의미론적 분할 필요성 해결.
• 작은 메모리 점유율과 빠른 추론 속도를 갖는 효율적 인코더-디코더 네트워크 개발.
• 공간 정보를 보존하면서도 속도를 유지하는 설계 선택 탐구.
• Cityscapes, CamVid, 그리고 SUN에서 ENet 벤치마크, 임베디드 하드웨어 성능 포함

제안 방법

• 병목 블록과 인코더-디코더 구조를 가진 ENet 아키텍처 도입.
• 정보 흐름을 보존하고 속도를 높이기 위해 초기 다운샘플링과 병렬 풀링 사용.
• 수용 필드를 과도한 계산 없이 확장하기 위해 확산된(convolutions) 및 비대칭 컨볼루션 사용.
• 정보 흐름 개선을 위해 ReLU를 PReLU 비선형으로 교체, 특히 초기 계층에서 효과적.
• 메모리/계산 감소를 위해 Spatial Dropout 적용 및 프로젝션에서 바이어스 항 제거.
• kernel fusion 고려와 광범위한 후처리 회피를 통해 엔드-투-엔드 빠른 추론 가능

실험 결과

연구 질문

• RQ1 ENet가 임베디드 하드웨어에서 실시간 의미론적 분할을 달성하면서 표준 벤치마크에서 경쟁력 있는 정확도를 유지할 수 있는가?
• RQ2 속도와 정확도 사이의 균형을 가장 잘 맞추는 설계 선택(다운샘플링 전략, 확산/비대칭 컨볼루션, 비선형성) 은 무엇인가?
• RQ3 Cityscapes, CamVid, SUN에서 ENet의 성능은 SegNet 및 다른 베이스라인과 비교하여 어떤가?
• RQ4 하드웨어 요구사항 및 ENet의 실용적인 배포에 영향을 미치는 소프트웨어 한계는 무엇인가?

주요 결과

• ENet는 SegNet에 비해 FLOPs가 현저히 낮은 3.83 GFLOPs, 파라미터 수가 0.37M으로 훨씬 작아, 모델 크기가 약 0.7 MB(fp16) 수준입니다.
• TX1 임베디드 하드웨어에서 ENet는 21.1 fps(480×320) 및 14.6 fps(640×360)로 실행되어 같은 플랫폼에서 SegNet의 속도보다 훨씬 우수합니다.
• Titan X에서 ENet는 실시간 성능을 유지하면서 경쟁력 있는 정확도(Cityscapes: class IoU 58.3 vs SegNet 56.1; Cityscapes category IoU 80.4 vs 79.8) 제공합니다.
• Cityscapes 테스트 결과 ENet가 SegNet과 비교하여 더 높은 클래스 IoU와 경쟁력 있는 카테고리 IoU를 달성했고, 당시 Cityscapes 벤치마크에서 가장 빠른 모델이었습니다.
• CamVid 결과에서 ENet는 여러 클래스에서 여러 베이스라인보다 우수하며 평균 IoU가 경쟁력 있습니다.
• SUN RGB-D 결과는 ENet의 글로벌 평균 및 클래스 평균 정확도가 SegNet보다 낮지만 RGB 데이터에 대해 여전히 실시간 성능 이점을 제공합니다.