[논문 리뷰] Exploration of Optimized Semantic Segmentation Architectures for edge-Deployment on Drones

Vivek Parmar, Narayani Bhatia외 2명|arXiv (Cornell University)|2020. 07. 06.

Advanced Neural Network Applications참고 문헌 13인용 수 6

한 줄 요약

이 논문은 드론에 대한 엣지 배포를 위한 최적의 세분화 아키텍처로 ImageNet 미사전 훈련 가중치를 갖춘 FPN-EfficientNetB3를 제안하며, DroneDeploy 데이터셋에서 0.65 mIoU와 0.71 F1 스코어를 달성한다. TensorRT와 FP16 정밀도를 활용한 하드웨어 인식 모델 최적화를 통해, InceptionResNetV2 기반 모델 대비 메모리 사용량을 4.1배 감소시키고 추론 지연을 10% 감소시켜 엣지 디바이스에서 효율적인 실시간 처리를 가능하게 한다.

ABSTRACT

In this paper, we present an analysis on the impact of network parameters for semantic segmentation architectures in context of UAV data processing. We present the analysis on the DroneDeploy Segmentation benchmark. Based on the comparative analysis we identify the optimal network architecture to be FPN-EfficientNetB3 with pretrained encoder backbones based on Imagenet Dataset. The network achieves IoU score of 0.65 and F1-score of 0.71 over the validation dataset. We also compare the various architectures in terms of their memory footprint and inference latency with further exploration of the impact of TensorRT based optimizations. We achieve memory savings of ~4.1x and latency improvement of 10% compared to Model: FPN and Backbone: InceptionResnetV2.

연구 동기 및 목표

• 제한된 계산 자원을 가진 드론에서 실시간 배포에 적합한 정확도와 효율성이 뛰어난 세분화 아키텍처를 규명하기 위해.
• 정확도, 메모리 프로파일, 추론 지연 간의 상충 관계를 고려하여, 다중 클래스 드론 UAV 데이터셋에서 표준 및 신규 세분화 모델을 벤치마킹하기 위해.
• 모델 정밀도화(FP16)와 TensorRT 최적화가 엣지 배포를 위한 모델 효율성과 추론 속도에 미치는 영향을 평가하기 위해.
• 드론 플랫폼에 특화된 하드웨어-소프트웨어 공동 최적화 프레임워크를 구축하기 위해.
• 이번에 처음으로 원격 감지 및 드론 응용 분야에서 EfficientNet 기반 아키텍처의 실현 가능성과 성능을 입증하기 위해.

제안 방법

• 연구는 DroneDeploy 데이터셋에서 다양한 백본(MobileNetV2, InceptionResNetV2, EfficientNetB3)을 갖춘 여러 세분화 아키텍처(FPN, PSPNet, UNet, LinkNet)를 평가한다.
• 모델은 AdamW 옵timizer를 사용하고, 학습률 스케줄러로 코즈인 애너일링을 적용하며, ImageNet 미사전 훈련과 무작위 초기화를 비교한다.
• 훈련 칩 내 클래스 표현을 보장하기 위해 300×300 및 384×384 크기의 컷 기반 데이터 증강 기법을 적용한다.
• 추론 효율성은 TensorRT 최적화와 FP16 정밀도를 통해 향상되며, 이는 모델 크기를 줄이고 엣지 하드웨어에서 추론 속도를 가속화한다.
• NVIDIA Jetson Nano 및 RTX 2080 Ti를 포함한 여러 엣지 디바이스에서 메모리 사용량과 추론 지연을 프로파일링한다.
• 제거 분석을 통해 인코더 미세조정, 가중치 초기화, 학습률 스케줄링이 모델 성능에 미치는 영향을 평가한다.

실험 결과

연구 질문

• RQ1 드론 기반 엣지 배포에 적합한 세분화 아키텍처 중에서 정확도, 메모리 프로파일, 추론 지연 간의 최적의 균형을 이루는 것은 무엇인가?
• RQ2 ImageNet 미사전 훈련이 드론 세분화 작업에서 무작위 초기화 대비 성능적으로 어떻게 뛰어나게 되는가?
• RQ3 TensorRT 기반 최적화가 엣지 디바이스에서 세분화 모델의 메모리 소비와 추론 지연을 얼마나 줄이는가?
• RQ4 다양한 백본 아키텍처(MobileNetV2, InceptionResNetV2, EfficientNetB3)가 드론 세분화에서 모델 효율성과 정확도에 어떤 영향을 미치는가?
• RQ5 FP16 정밀도와 학습률 스케줄링이 모델 수렴과 추론 성능에 미치는 영향은 무엇인가?

주요 결과

• ImageNet 미사전 훈련 가중치를 갖춘 FPN-EfficientNetB3 모델은 DroneDeploy 데이터셋에서 검증 mIoU 0.65와 F1 스코어 0.71를 기록하여 가장 높은 성능을 보였다.
• ImageNet 미사전 훈련은 무작위 초기화보다 성능이 뛰어나며, 원격 감지 분야에서 도메인 특화 가중치 초기화에 대한 기존 가정을 도전한다.
• TensorRT 최적화 후, FPN-EfficientNetB3 모델은 FPN-InceptionResNetV2 기반 기준 대비 메모리 사용량을 4.1배 감소시키고 추론 지연을 10% 감소시켰다.
• FP16 정밀도화는 정확도를 유지하면서도 상당한 메모리 절감과 속도 향상을 가능하게 하여, 엣지 최적화 추론에의 적용을 정당화한다.
• InceptionResNetV2 기반 모델은 EfficientNetB3 대비 4배 무겁기 때문에, 경량 엣지 배포에는 부적합함에도 불구하고 높은 정확도를 기록한다.
• NVIDIA Jetson Nano는 유리한 지연과 메모리 추정치를 바탕으로 가장 적합한 엣지 디바이스로 확인되었다.