[논문 리뷰] EdgeSegNet: A Compact Network for Semantic Segmentation

Zhong Qiu Lin, Brendan Chwyl외 1명|arXiv (Cornell University)|2019. 05. 10.

Advanced Neural Network Applications참고 문헌 28인용 수 4

한 줄 요약

EdgeSegNet은 원칙적인 네트워크 프로토타이핑과 기계 기반 아키텍처 탐색을 조합한 인간-기계 협업 전략을 통해 설계된 컴팩트한 딥 컨volution 신경망으로, 의미 분할을 위한 것이다. CamVid에서 89.7%의 정확도를 달성하여 RefineNet의 0.6% 이내에 머무르며, 16.7 MB로 20배 이상 작고, NVIDIA Jetson AGX Xavier와 같은 엣지 디바이스에서 38.5 FPS로 실행되어 저전력 실시간 엣지 배포에 매우 효율적이다.

ABSTRACT

In this study, we introduce EdgeSegNet, a compact deep convolutional neural network for the task of semantic segmentation. A human-machine collaborative design strategy is leveraged to create EdgeSegNet, where principled network design prototyping is coupled with machine-driven design exploration to create networks with customized module-level macroarchitecture and microarchitecture designs tailored for the task. Experimental results showed that EdgeSegNet can achieve semantic segmentation accuracy comparable with much larger and computationally complex networks (>20x} smaller model size than RefineNet) as well as achieving an inference speed of ~38.5 FPS on an NVidia Jetson AGX Xavier. As such, the proposed EdgeSegNet is well-suited for low-power edge scenarios.

연구 동기 및 목표

• 계산 및 메모리 제약이 엄격한 저전력, 디바이스 내부 엣지 시나리오에 최적화된 컴팩트한 딥 신경망을 의미 분할을 위해 개발하는 것.
• 모바일 폰, 드론, 차량과 같은 자원 제약이 있는 엣지 디바이스에 대규모 정확도의 의미 분할 모델(예: RefineNet)을 구현하는 과제를 해결하는 것.
• 인간 기반 아키텍처 원칙과 자동화된 검색을 조합한 인간-기계 협업 설계 전략을 활용하여 모듈 수준의 마크로 및 마이크로 아키텍처를 최적화하는 것.
• 기존 대규모 모델에 비해 모델 크기와 추론 지연을 크게 줄이며 최신 기술 수준의 분할 정확도를 달성하는 것.
• 정확도와 계산 효율성 양면에서 최적화하여 엣지 하드웨어에서 실시간으로 효율적인 의미 분할을 가능하게 하는 것.

제안 방법

• 원칙적인 네트워크 설계 원칙에 기반해 다중 경로 정련 및 장거리 스킵 연결과 같은 기존 의미 분할 원칙을 반영한 프로토타입을 인간 기반으로 생성하는 협업 설계 전략을 적용한다.
• 기계 기반의 설계 탐색을 통해 데이터셋과 사전 정의된 제약 조건(예: CamVid에서 정확도 ≥88%, 모델 크기 <20 MB)에 기반해 최적의 모듈 수준 마크로아키텍처 및 마이크로아키텍처 구성 요소를 자동으로 결정한다.
• 다양한 아키텍처를 통합: 기능 표현과 계산 효율성의 균형을 맞추기 위해 잔차 및 비잔차 보트럼프 모듈의 조합을 사용한다.
• 특정 고수준 특징만 정련하는 선택적 장거리 스킵 연결을 구현하여 성능 손실 없이 아키텍처 복잡도를 감소시킨다.
• 비잔차 보트럼프 모듈에서 8×8 스트라이드 컨벌루션을 사용해 공격적인 공간 감소를 구현하여 특징 맵 차원과 계산 부담을 크게 줄인다.
• 정확도 및 크기 제약 조건을 강제하는 지표 함수 $1_r(\cdot)$에 의해 이끌리는 제약 조건이 있는 검색 과정을 통해 최종 아키텍처를 최적화하여 컴팩트하고 고성능 모델을 도출한다.

실험 결과

연구 질문

• RQ1 인간-기계 협업 설계 전략은 더 큰 최신 기술 수준의 모델과 정확도가 유사하면서도 훨씬 작고 빠른 컴팩트한 의미 분할 네트워크를 생성할 수 있는가?
• RQ2 선택적 장거리 스킵 연결은 성능 저하 없이 아키텍처 복잡도를 얼마나 효과적으로 줄일 수 있는가?
• RQ3 공격적인 공간 감소 기법(예: 8×8 스트라이드 컨벌루션)을 통해 컴팩트한 네트워크에서 의미 분할 정확도를 얼마나 유지할 수 있는가?
• RQ4 잔차 및 비잔차 보트럼프 모듈의 하이브리드 마크로아키텍처는 엣지 최적화 의미 분할에서 효율성과 성능을 향상시킬 수 있는가?
• RQ5 엣지 배포 가능한 의미 분할 네트워크에서 모델 크기, 추론 속도, 정확도 간의 상충 관계는 무엇이며, 이를 효과적으로 최적화할 수 있는가?

주요 결과

• EdgeSegNet은 CamVid 데이터셋에서 평균 교차율(mIoU) 정확도 89.7%를 달성하여 훨씬 큰 RefineNet(90.3%)의 0.6% 이내에 머무른다.
• EdgeSegNet의 모델 크기는 단지 16.7 MB이며, RefineNet(343 MB)에 비해 20배 이상 감소하여 메모리 제약이 있는 엣지 디바이스에 매우 적합하다.
• EdgeSegNet은 저전력 엣지 플랫폼인 NVIDIA Jetson AGX Xavier에서 약 38.5 FPS의 추론 속도를 확보하여 실시간 의미 분할을 가능하게 한다.
• RefineNet은 메모리가 부족하여 Jetson AGX Xavier에서 실행되지 않았으며, 이는 EdgeSegNet의 컴팩트한 설계가 가지는 핵심적 이점임을 시사한다.
• 비잔차 모듈에서 선택적 장거리 스킵 연결과 공격적인 8×8 스트라이드 컨벌루션을 적용함으로써 계산 복잡도는 크게 감소시키면서도 높은 성능을 유지한다.
• 인간-기계 협업 설계 과정은 정확도, 크기, 속도를 균형 잡은 모델을 성공적으로 생성하였으며, 정확도 손실 없이 대규모 모델에 비해 효율성 지표에서 뛰어난 성능을 보였다.