[논문 리뷰] Adaptive Object Detection Using Adjacency and Zoom Prediction

Yongxi Lu, Tara Javidi외 1명|arXiv (Cornell University)|2015. 12. 24.

Advanced Neural Network Applications참고 문헌 31인용 수 17

한 줄 요약

이 논문은 학습된 인접성 및 줌 예측에 기반해 이미지 영역을 순환적으로 하위 영역으로 분할함으로써 동적으로 영역 제안을 생성하는 적응형 객체 검출 프레임워크인 AZ-Net을 제안한다. RPN 기반 방법 대비 최대 100배 적은 앵커를 사용하면서도 최신 기술 수준(mAP)을 달성하며, 높은 추론 속도를 유지한다.

ABSTRACT

State-of-the-art object detection systems rely on an accurate set of region proposals. Several recent methods use a neural network architecture to hypothesize promising object locations. While these approaches are computationally efficient, they rely on fixed image regions as anchors for predictions. In this paper we propose to use a search strategy that adaptively directs computational resources to sub-regions likely to contain objects. Compared to methods based on fixed anchor locations, our approach naturally adapts to cases where object instances are sparse and small. Our approach is comparable in terms of accuracy to the state-of-the-art Faster R-CNN approach while using two orders of magnitude fewer anchors on average. Code is publicly available.

연구 동기 및 목표

• 고정된 앵커 기반 객체 검출 방법이 빈 영역나 또는 배경 영역에서 계산 자원을 낭비하는 데 기인한 비효율성을 해결하기 위해.
• 소형 및 희박한 객체 인스턴스의 검출 성능을 향상시키기 위해 계산 자원을 가능성이 높은 객체 포함 하위 영역에 동적으로 집중시키기 위해.
• 검출 정확도를 훼손하지 않으면서도 제안 영역 수를 줄일 수 있는 클래스에 관계없는 적응형 탐색 전략을 설계하기 위해.
• 고해상도 이미지에서의 효율적 추론을 가능하게 하기 위해 중복된 제안 계산을 최소화하기 위해.

제안 방법

• 이 방법은 각 후보 영역에 대해 줌 지표와 인접성 점수를 예측하는 딥 네ural 네트워크인 AZ-Net을 사용하여, 영역을 추가로 분할할지 여부를 결정한다.
• 줌 지표는 콘텐츠 특징에 기반해 영역을 더 작은 하위 영역으로 순환적으로 분할할지 결정하는 학습된 스칼라이다.
• 높은 신뢰도 점수를 가진 인접성 예측 결과는 고정된 앵커 격자 대신 검출기의 최종 영역 제안으로 사용된다.
• 알고리즘은 전체 이미지에서 시작하여 AZ-Net을 순환적으로 적용함으로써 콘텐츠 조건부 적응형 앵커 세트를 생성한다.
• 네트워크는 조인트 손실 함수를 사용하여 줌 결정과 인접 영역 내 객체 존재 여부를 동시에 예측하도록 엔드 투 엔드로 훈련된다.
• 이 접근법은 사전 정의된 앵커 템플릿에 의존하지 않고, 이미지 콘텐츠와 계층적 특징 반응에 기반해 제안을 구축한다.

실험 결과

연구 질문

• RQ1 고정 앵커 기반 방법과 비교해 볼 때, 적응형 영역 제안 전략이 앵커 수를 줄이면서도 검출 정확도를 유지하거나 향상시킬 수 있는가?
• RQ2 콘텐츠 조건부 순환 분할 전략은 고정 격자 앵커 생성 방식에 비해 소형 객체에 대한 재현율과 높은 IoU 임계치에서 어떻게 비교되는가?
• RQ3 단일의 클래스에 관계없는 제안 네트워크가 다중 클래스 검출 시나리오에서 각 클래스별 적응형 검출 방법보다 뛰어난 성능을 낼 수 있는가?
• RQ4 적응형 탐색 전략은 고해상도 이미지에서 추론 속도와 확장성 향상에 어느 정도 기여하는가?

주요 결과

• AZ-Net은 MSCOCO 2015 테스트-디브 세트에서 mAP 22.3을 기록했으며, 훈련 반복 수가 적고 백본이 얕은 점을 감안하면 RPN과 ResNet을 사용한 경우(37.4 mAP)와 유사한 성능을 달성했다.
• Pascal VOC 2007에서 AZ-Net은 22.3%의 mAP를 기록했으며, VGG16을 사용한 Faster R-CNN(19.7%)를 초월했고, VGG16을 사용한 RPN(21.9%)과 ResNet(37.4%)의 주요 지표와 동등하거나 이를 초월했다.
• 이 방법은 평균적으로 이미지당 약 10여 개의 앵커 영역만 사용하며, RPN의 2400개 앵커 대비 100배 감소시켜 추론 효율성을 크게 향상시켰다.
• AZ-Net은 높은 IoU 임계치와 더 작은 상위 제안 수에서 더 높은 재현율을 보이며, 더 나은 정렬 정확도와 제안 품질을 나타낸다.
• CPU-GPU 메모리 전송과 RoI 풀링으로 인해 최적화되지 않은 구현임에도 불구하고 AZ-Net은 빠른 프레임 레이트를 기록했으며, 이는 최적화를 통해 더 큰 속도 향상을 기대할 수 있음을 시사한다.
• 적응형 탐색 전략은 소형 객체 검출에서 뛰어난 성능을 보이며, 콘텐츠 인식 기반의 세밀한 영역 분할 덕분에 소형 인스턴스의 재현율이 향상되었다.