[논문 리뷰] YolactEdge: Real-time Instance Segmentation on the Edge (Jetson AGX Xavier: 30 FPS, RTX 2080 Ti: 170 FPS)

Haotian Liu, Rafael A. Rivera Soto외 2명|arXiv (Cornell University)|2020. 12. 22.

Advanced Neural Network Applications참고 문헌 8인용 수 5

한 줄 요약

YolactEdge는 엣지 디바이스를 위한 최적화된 실시간 인스턴스 세그멘테이션 모델로, 비디오의 시간적 중복성을 활용하는 새로운 특징 와핑 모듈과 TensorRT 최적화를 결합하여 잔존 자가 Xeon에서 최대 30.8 FPS, RTX 2080 Ti에서 172.7 FPS의 성능을 달성하며, MS COCO 및 YouTube VIS 벤치마크에서 경쟁력 있는 정확도를 유지한다.

ABSTRACT

We propose YolactEdge, the first competitive instance segmentation approach that runs on small edge devices at real-time speeds. Specifically, YolactEdge runs at up to 30.8 FPS on a Jetson AGX Xavier (and 172.7 FPS on an RTX 2080 Ti) with a ResNet-101 backbone on 550x550 resolution images. To achieve this, we make two improvements to the state-of-the-art image-based real-time method YOLACT: (1) TensorRT optimization while carefully trading off speed and accuracy, and (2) a novel feature warping module to exploit temporal redundancy in videos. Experiments on the YouTube VIS and MS COCO datasets demonstrate that YolactEdge produces a 3-5x speed up over existing real-time methods while producing competitive mask and box detection accuracy. We also conduct ablation studies to dissect our design choices and modules. Code and models are available at this https URL

연구 동기 및 목표

• 자원 제약이 있는 엣지 디바이스, 예를 들어 Jetson AGX Xavier에서 실시간 인스턴스 세그멘테이션을 가능하게 하기 위해.
• 제한된 계산 능력을 지닌 엣지 하드웨어에서 고정확도 인스턴스 세그멘테이션 모델을 실시간으로 배포하는 데 도전하는 것.
• 모델 추론 최적화와 영상의 시간적 일관성을 활용하여 추론 지연을 줄이되, 검출 및 마스크 품질을 손상시키지 않는 것.
• 기존 실시간 인스턴스 세그멘테이션 방법 대비 3-5배의 속도 향상을 달성하면서도 표준 벤치마크에서 경쟁력 있는 정확도를 유지하는 것.

제안 방법

• YOLACT 아키텍처에 TensorRT 최적화를 적용하여 엣지 및 고성능 GPU에서 추론 속도를 향상시키기 위해.
• 영상 시퀀스의 시간적 중복성을 활용하여 프레임 간 중복 계산을 줄이는 새로운 특징 와핑 모듈을 도입하기 위해.
• TensorRT 내에서 양자화 및 레이어 수준 최적화를 통해 속도와 정확도 간의 균형을 신중히 조정하기 위해.
• 균형 잡힌 성능과 정확도를 확보하기 위해 550x550 해상도의 특징 맵을 처리하는 ResNet-101 백본을 사용하기 위해.
• 모델 압축과 하드웨어 인식 최적화를 통해 원래 YOLACT 아키텍처를 엣지 디바이스에서 효율적으로 추론할 수 있도록 조정하기 위해.

실험 결과

연구 질문

• RQ1 Jetson AGX Xavier와 같은 엣지 디바이스에서 수용 가능한 정확도로 실시간 인스턴스 세그멘테이션을 달성할 수 있는가?
• RQ2 시간적 특징 와핑이 영상 추론 중 계산 부담을 줄이는 데 얼마나 효과적인가?
• RQ3 엔드 디바이스 하드웨어에서 YOLACT를 TensorRT로 최적화할 경우 속도와 정확도 간의 상호 보완 관계는 어떻게 되는가?
• RQ4 기존 실시간 인스턴스 세그멘테이션 방법과 비교해 YolactEdge는 속도와 정확도 측면에서 어떤가?

주요 결과

• YolactEdge는 ResNet-101 백본과 550x550 해상도를 사용하여 Jetson AGX Xavier에서 30.8 FPS를 달성하여 엣지 하드웨어에서 실시간 성능을 입증한다.
• RTX 2080 Ti에서는 172.7 FPS를 기록하여 고성능 GPU에서도 뛰어난 성능을 보인다.
• 기존 실시간 인스턴스 세그멘테이션 방법 대비 3-5배의 속도 향상을 달성하면서도 경쟁력 있는 마스크 및 박스 검출 정확도를 유지한다.
• 특징 와핑 모듈은 영상 시퀀스의 시간적 일관성을 활용하여 계산을 효과적으로 줄인다.
• A/ablation 연구 결과, TensorRT 최적화와 특징 와핑 모듈이 모두 속도 향상에 기여하는 데 있어 중요한 역할을 한다.