[논문 리뷰] Learning Detection with Diverse Proposals

Samaneh Azadi, Jiashi Feng외 1명|arXiv (Cornell University)|2017. 04. 11.

Advanced Neural Network Applications참고 문헌 5인용 수 6

한 줄 요약

이 논문은 다양한 영역 제안을 통한 학습(학습 탐지)을 제안하며, 영역 제안 간의 다양성을 증진시켜 객체 검출 성능을 향상시키는 가분리 가능한 결정성 점진적 프로세스(DPP) 레이어인 LDDP를 제안한다. 제안 간의 의미적 관계와 공간적 관계를 모델링함으로써 LDDP는 모델 파라미터 수를 늘리지 않고도 정위치 및 분류 정확도를 향상시키며, Faster R-CNN가 사용하는 약 30%의 제안만으로도 최신 기술 수준의 성능을 달성한다.

ABSTRACT

To predict a set of diverse and informative proposals with enriched representations, this paper introduces a differentiable Determinantal Point Process (DPP) layer that is able to augment the object detection architectures. Most modern object detection architectures, such as Faster R-CNN, learn to localize objects by minimizing deviations from the ground-truth but ignore correlation between multiple proposals and object categories. Non-Maximum Suppression (NMS) as a widely used proposal pruning scheme ignores label- and instance-level relations between object candidates resulting in multi-labeled detections. In the multi-class case, NMS selects boxes with the largest prediction scores ignoring the semantic relation between categories of potential election. In contrast, our trainable DPP layer, allowing for Learning Detection with Diverse Proposals (LDDP), considers both label-level contextual information and spatial layout relationships between proposals without increasing the number of parameters of the network, and thus improves location and category specifications of final detected bounding boxes substantially during both training and inference schemes. Furthermore, we show that LDDP keeps it superiority over Faster R-CNN even if the number of proposals generated by LDPP is only ~30% as many as those for Faster R-CNN.

연구 동기 및 목표

• 현대의 객체 검출기인 Faster R-CNN와 같은 모델들이 제안 간 상관관계를 忽시하고, 중복 제거 기반의 NMS에 의존함으로써 의미적 및 공간적으로 관련된 검출을 기각하는 한계를 해결하기 위해.
• 가분리 가능한 DPP 레이어를 사용하여 제안 간의 다양성을 명시적으로 모델링함으로써 객체 검출 성능을 향상시키기 위해.
• 품질 점수, 카테고리 유사도, 공간적 겹침을 고려한 DPP 기반 선택으로 NMS를 대체함으로써 학습 및 추론을 향상시키기 위해.
• 낮은 수의 고품질이고 다양한 제안으로도 더 큰 수의 중복된 제안보다 뛰어난 검출 정확도를 달성할 수 있음을 입증하기 위해.
• 기존의 검출 아키텍처(예: Faster R-CNN)와 호환되는 플러그인 형태의 엔드 투 엔드 학습 가능한 모듈을 제공하기 위해.

제안 방법

• 제안의 부분집합에 대한 확률 분포를 계산하는 가분리 가능한 DPP 레이어를 도입하여, 다양하고 고품질의 검출을 선호한다.
• 제안 간의 쌍별 관계를 모델링하기 위해 품질 점수 행렬과 의미 유사도 행렬을 조합한 커널 행렬 L을 사용한다.
• 제안 점수 및 위치 오프셋에 대한 DPP 로그우도의 기울기를 유도하여 엔드 투 엔드 백프로파게이션을 가능하게 한다.
• 표준 Faster R-CNN의 다중 태스크 손실(분류 및 회귀)과 함께 DPP 손실을 조합하여 공동 최적화한다.
• 추론 단계에서 NMS를 DPP 기반 선택으로 대체하여 다양성을 극대화하면서도 고점수 및 정확한 박스를 유지한다.
• 카테고리 유사도, 공간적 레이아웃, 신뢰도 점수를 종합적으로 고려하는 가분리 가능한 DPP 추론 기법을 활용한다.

실험 결과

연구 질문

• RQ1 가분리 가능한 DPP 레이어를 통해 모델 복잡도를 증가시키지 않고 제안 간의 다양성을 증진시켜 객체 검출 성능을 향상시킬 수 있는가?
• RQ2 DPP 기반 제안 선택은 다양한 객체 카테고리와 공간 구성 조건에서 NMS와 비교해 정확도 및 내구성 면에서 어떻게 다른가?
• RQ3 예를 들어 Faster R-CNN의 30% 수준으로 제한된 제안 수라도 다양성을 명시적으로 모델링할 경우 뛰어난 검출 성능을 달성할 수 있는가?
• RQ4 DPP 프레임워크에서 의미 유사도와 공간적 레이아웃은 선택된 제안의 품질에 어떤 영향을 미치는가?
• RQ5 DPP 레이어는 학습 및 추론 단계에서 일반화 능력을 향상시키고 중복을 줄이는 데 얼마나 기여하는가?

주요 결과

• VOC2007에서 LDDP는 100개의 제안으로만 mAP 60.4%를 달성하였으며, 이는 Faster R-CNN가 300개의 제안을 사용할 때 달성한 60.5%의 mAP와 동일한 성능이다.
• 제안 수를 Faster R-CNN의 약 30%로 줄여도 모델이 여전히 뛰어난 성능을 유지함으로써 높은 샘플 효율성을 입증하였다.
• MS COCO에서 DPP 커널 내 의미 유사도 행렬이 검출 정확도를 크게 향상시킴을 아블레이션 연구를 통해 입증하였다.
• VOC2007과 MS COCO 양쪽 모두에서의 시각화 결과로 LDDP는 중복되지 않고 정확한 검출을 생성하는 반면, NMS를 사용하는 Faster R-CNN는 종종 겹치거나 중복된 박스를 생성하는 것으로 나타났다.
• DPP 기반 추론 기법은 의미적 및 공간적으로 다양한 검출을 유지함으로써 NMS를 초월하여 임의의 양성 및 정위치 정확도를 향상시켰다.
• DPP 레이어의 기울기 계산은 해석적으로 유도되었으며, 표준 백프로파게이션을 사용한 엔드 투 엔드 학습이 가능하도록 보장되었다.