[논문 리뷰] Dynamic Proposals for Efficient Object Detection

Yiming Cui, Linjie Yang외 1명|arXiv (Cornell University)|2022. 07. 12.

Advanced Neural Network Applications인용 수 6

한 줄 요약

이 논문은 입력 이미지의 복잡도에 따라 제안 수를 동적으로 조정할 수 있도록 해주는 플러그 앤 플레이 모듈인 Dynamic Proposals를 제안한다. 이는 정확도를 훼손하지 않은 채 추론 효율성을 향상시킨다. 추론 비용을 줄이기 위해 학습 가능한 회귀 헤드를 사용하여 객체 수를 추정하고, 인place 디스틸리이션 전략을 적용함으로써, Sparse R-CNN 및 QueryInst와 같은 모델에서 최대 80% 빠른 추론을 달성하면서도 AP 점수를 유지하거나 향상시킨다.

ABSTRACT

Object detection is a basic computer vision task to loccalize and categorize objects in a given image. Most state-of-the-art detection methods utilize a fixed number of proposals as an intermediate representation of object candidates, which is unable to adapt to different computational constraints during inference. In this paper, we propose a simple yet effective method which is adaptive to different computational resources by generating dynamic proposals for object detection. We first design a module to make a single query-based model to be able to inference with different numbers of proposals. Further, we extend it to a dynamic model to choose the number of proposals according to the input image, greatly reducing computational costs. Our method achieves significant speed-up across a wide range of detection models including two-stage and query-based models while obtaining similar or even better accuracy.

연구 동기 및 목표

• 고정된 제안 수를 사용하는 객체 검출기의 비효율성을 해결하기 위해, 다양한 계산 예산에 적응할 수 있도록 하는 것.
• 입력 이미지의 복잡도에 따라 동적으로 제안 수를 선택할 수 있는 단일 트레이닝된 모델을 가능하게 하는 것.
• 검출 또는 인스턴스 세그멘테이션 정확도를 떨어뜨리지 않은 채 계산 비용을 줄이는 것.
• 이중 단계 및 쿼리 기반 검출기와 호환되는 플러그 앤 플레이 모듈을 설계하는 것.
• 동적 제안 수 계산 및 특징 디스틸리이션을 활용하여 추론 효율성을 향상시키는 것.

제안 방법

• 입력 이미지 내 객체 수를 추정하는 데 사용되는 회귀 헤드($\mathcal{M}$)가 제안 수 선택을 안내한다.
• 단일 트레이닝된 네트워크에서 다양한 수의 제안을 갖는 추론을 가능하게 하는 스위치 가능한 제안 메커니즘을 사용한다.
• 완전한 제안 모델에서 제안 수가 적은 변형으로 지식을 전달하기 위해 인플레이스 디스틸리이션을 적용하여 학습을 안정화시키고 성능을 향상시킨다.
• 추정된 객체 수 $\tilde{n}$를 사용하여 제안 수를 동적으로 선택하며, 이는 식 (8)을 통해 손실 함수에 활용된다.
• Sparse R-CNN, QueryInst, Faster R-CNN, Mask R-CNN와 같은 기존 검출기들에 플러그인 모듈로 통합된다.
• 최소한의 아키텍처 변경으로 객체 검출 및 인스턴스 세그멘테이션 모두를 지원한다.

실험 결과

연구 질문

• RQ1 입력 이미지의 복잡도에 따라 동적으로 제안 수를 조정할 수 있는 단일 객체 검출기가 트레이닝될 수 있는가?
• RQ2 제안된 동적 제안 메커니즘이 추론 시간을 줄이면서도 검출 정확도를 유지하는 데 얼마나 효과적인가?
• RQ3 인플레이스 디스틸리이션은 저제안 수 변형의 성능을 얼마나 향상시키는가?
• RQ4 객체 수 추정 모듈이 이미지당 객체 수를 얼마나 정확하게 예측하는가?
• RQ5 동적 제안 프레임워크는 다양한 이중 단계 및 쿼리 기반 검출기에서 효과적으로 구현될 수 있는가?

주요 결과

• Figure 1에 나타나 있듯이, QueryInst에서 유사하거나 향상된 AP 점수를 유지하면서 최대 80% 빠른 추론 속도를 달성한다.
• MS COCO 및 Cityscapes 벤치마크에서 추정된 객체 수의 평균 오차는 5개 이하이다.
• MS COCO 및 Cityscapes에서 제안 수 추정에 대한 4개 클래스 분류 정확도는 97%를 초과한다.
• 기본값 객체 수 $n_g$를 오라클로 사용할 경우 추정된 $\tilde{n}$를 사용한 결과와 거의 동일한 AP 점수를 얻었으며, 이는 추정 모듈의 정확성을 확인한다.
• 인플레이스 디스틸리이션은 추론 비용을 증가시키지 않으면서도 검출 및 인스턴스 세그멘테이션 작업에서 최소 0.3% 향상된 AP를 달성한다.
• 구성 수 $\theta$를 4에서 12로 증가시키면 성능이 약간 향상되며(0.2% AP 향상), 그러나 추론 속도에 큰 영향을 주지 않는다.