[논문 리뷰] Split Computing for Complex Object Detectors: Challenges and Preliminary Results

Yoshitomo Matsubara, Marco Levorato|arXiv (Cornell University)|2020. 07. 27.

Advanced Neural Network Applications참고 문헌 27인용 수 5

한 줄 요약

이 논문은 Faster R-CNN 및 Mask R-CNN의 첫 번째 레이어에 조기 버티브를 도입하여 복잡한 R-CNN 객체 검출기의 새로운 분할 계산 방식을 제안한다. 이는 이슬립된 텐서 크기를 줄이는 데 기여하며, 머리 네트워크 distillation을 통해 검출 정확도를 유지한다. 결과적으로 엣지 계산 대비 최대 93.4%의 텐서 크기 감소를 달성하였으며, mAP의 측정 가능한 상충 관계를 통해 분할 추론에서의 핵심 성능 저하 요인을 드러낸다.

ABSTRACT

Following the trends of mobile and edge computing for DNN models, an intermediate option, split computing, has been attracting attentions from the research community. Previous studies empirically showed that while mobile and edge computing often would be the best options in terms of total inference time, there are some scenarios where split computing methods can achieve shorter inference time. All the proposed split computing approaches, however, focus on image classification tasks, and most are assessed with small datasets that are far from the practical scenarios. In this paper, we discuss the challenges in developing split computing methods for powerful R-CNN object detectors trained on a large dataset, COCO 2017. We extensively analyze the object detectors in terms of layer-wise tensor size and model size, and show that naive split computing methods would not reduce inference time. To the best of our knowledge, this is the first study to inject small bottlenecks to such object detectors and unveil the potential of a split computing approach. The source code and trained models' weights used in this study are available at https://github.com/yoshitomo-matsubara/hnd-ghnd-object-detectors .

연구 동기 및 목표

• 복잡한 이단계 객체 검출기인 Faster R-CNN 및 Mask R-CNN에 대해 효과적인 분할 계산 전략이 부족한 문제를 해결하기 위해.
• COCO 2017과 같은 대규모 데이터셋에서 훈련된 강력한 검출기의 분할에 따른 과제를 분석하기 위해.
• 분할 계산 환경에서 이슬립된 텐서 크기와 검출 성능(mAP) 간의 상충 관계를 평가하기 위해.
• 이슬립된 테일 모델을 변경하지 않은 채로 작은 조기 버티브를 통합하여 통신 오버헤드를 줄이는 방법을 제안하고 검증하기 위해.
• 향후 분할 DNN을 통한 객체 검출 연구를 위해 훈련된 모델과 코드를 활용한 재현 가능한 벤치마크를 제공하기 위해.

제안 방법

• 저자는 ResNet-50 기반의 Faster R-CNN 및 Mask R-CNN의 첫 번째 레이어(Layer 1)를 재설계하여, 컨볼루션 레이어를 프루닝하고 재구성함으로써 C개의 출력 채널을 가진 버티브를 생성한다.
• 머리 네트워크 distillation 기법을 적용하여 원본 검출기가 교사 역할을 하고 수정된 검출기가 학생 역할을 하도록 하여 머리 부분의 특징 표현을 유지한다.
• 버티브를 첫 번째 모델 분기 지점 이전에 배치하여 엣지로 전송되는 텐서 수를 최소화하고, 다중 텐서 전송 오버헤드를 피한다.
• 텐서 크기와 검출 성능 간의 상충 관계를 연구하기 위해 버티브 채널 수(C = 3, 6, 9, 12, 15)를 체계적으로 변화시킨다.
• COCO 2017 검증 세트를 사용하여 모델을 피나이팅하고, 바운딩 박스 및 마스크에 대해 mAP를 측정한다.
• 소스 코드와 훈련된 가중치를 공개하여 재현 가능성을 확보하고 향후 연구를 가능하게 한다.

실험 결과

연구 질문

• RQ1 Faster R-CNN 및 Mask R-CNN와 같이 자연스러운 분할 지점이 없는 복잡한 이단계 객체 검출기에 대해 분할 계산을 효과적으로 적용할 수 있는가?
• RQ2 조기 버티브를 통해 이슬립된 텐서 크기를 줄일 경우, COCO 2017에서 검출 성능(mAP)에 어떤 영향을 미치는가?
• RQ3 분할 추론에서 통신 비용(텐서 크기)과 검출 정확도 간의 최적의 상충 관계는 무엇인가?
• RQ4 왜 단순한 분할 전략은 모바일 또는 엣지 계산과 비교해 강력한 객체 검출기에서 추론 시간을 향상시키지 못하는가?
• RQ5 객체 검출기의 첫 번째 레이어에 강력한 버티브를 도입할 경우, 지식 distillation이 성능을 얼마나 잘 유지할 수 있는가?

주요 결과

• 제안된 버티브 기반 분할 계산 방법은 엣지 계산에서 원본 입력 텐서를 이슬립할 경우 대비 이슬립된 텐서 크기를 80.3%에서 93.4%까지 감소시킨다.
• 이 방법은 측정 가능한 성능 상충 관계를 보이며, 버티브 크기가 작아질수록(C = 3에서 15로), 바운딩 박스 및 마스크에 대한 mAP가 저하되며, 가장 작은 채널 수에서 가장 큰 감소 폭을 보인다.
• 원본 모델의 mAP는 상한선으로서 기능하며, C=15를 가진 수정된 모델는 원본 mAP의 약 90%를 달성하여 압축에도 불구하고 뛰어난 성능 유지 능력을 보여준다.
• 연구 결과에 따르면, 단순한 분할 전략은 후행 레이어의 복잡한 분기 구조와 높은 텐서 볼륨으로 인해 추론 시간 향상에 실패함을 드러내며, 이로 인해 조기 버티브의 필수성이 확인된다.
• 결과적으로 효과적인 분할 계산은 단순한 레이어 기반 분할을 넘어서 아키텍처 재설계와 distillation과 같은 고급 훈련 기법이 필요하다는 것을 입증한다.
• 저자는 추가적인 압축 기법(예: 양자화)을 통해 향후 성능 향상이 가능할 수 있음을 확인하였으며, 후속 연구에서 논의된 lin을 참고한다.