[논문 리뷰] Object Detection based on Region Decomposition and Assembly

Seung‐Hwan Bae|arXiv (Cornell University)|2019. 01. 24.

Advanced Neural Network Applications참고 문헌 14인용 수 4

한 줄 요약

이 논문은 객체 검출 성능을 햖을 수 있도록 객체 영역을 더 작은 부분들로 분해하고, 유연한 영역 조립 블록을 통해 전역 및 부분 수준 특징을 융합하는 Region Decomposition and Assembly Detector (R-DAD)를 제안한다. 이 방법은 데이터 증강, 특징 피라미드, 다중 척도 테스트에 의존하지 않고도 PASCAL VOC07에서 81.2%, PASCAL VOC12에서 82.0%, MSCOCO18에서 43.1%의 SOTA mAP 성능을 달성한다.

ABSTRACT

Region-based object detection infers object regions for one or more categories in an image. Due to the recent advances in deep learning and region proposal methods, object detectors based on convolutional neural networks (CNNs) have been flourishing and provided the promising detection results. However, the detection accuracy is degraded often because of the low discriminability of object CNN features caused by occlusions and inaccurate region proposals. In this paper, we therefore propose a region decomposition and assembly detector (R-DAD) for more accurate object detection. In the proposed R-DAD, we first decompose an object region into multiple small regions. To capture an entire appearance and part details of the object jointly, we extract CNN features within the whole object region and decomposed regions. We then learn the semantic relations between the object and its parts by combining the multi-region features stage by stage with region assembly blocks, and use the combined and high-level semantic features for the object classification and localization. In addition, for more accurate region proposals, we propose a multi-scale proposal layer that can generate object proposals of various scales. We integrate the R-DAD into several feature extractors, and prove the distinct performance improvement on PASCAL07/12 and MSCOCO18 compared to the recent convolutional detectors.

연구 동기 및 목표

• CNN 기반 검출기에서의 가림 및 정확도가 떨어지는 영역 제안 문제로 인한 검출 정확도 저하를 해결한다.
• 전체 객체 외관과 국소적 부분 세부 정보를 함께 모델링하여 특징의 구분 능력을 향상시킨다.
• 이미지 피라미드를 비용이 많이 드는 대체 없이도 영역 제안의 정확도를 향상시키기 위해 다중 척도 제안 레이어를 사용한다.
• 가림 상태에 따라 신뢰할 수 있는 특징을 적응적으로 가중하는 유연한 특징 융합 메커니즘을 개발한다.
• 데이터 증강, 다중 척도 테스트, 모델 앙상블 등의 외부 개선 기법에 의존하지 않고도 최신 기술 수준의 성능을 달성한다.

제안 방법

• 다양한 스케일링 요소를 사용하여 RPN에서 유도된 영역 제안을 재스케일링하는 다중 척도 영역 제안 레이어를 제안한다.
• 클래스 불균형 문제를 해결하기 위해 비율 기반 균형 조정을 통한 영역 샘플링 기법을 적용한다.
• 각 객체 영역을 여러 개의 더 작은 부분 영역으로 분해하여 세밀한 부분 수준 특징을 캡처한다.
• 전체 객체 영역과 그 분해된 부분 영역에서 CNN 특징을 추출하여 통합적이고 부분 수준의 표현을 확보한다.
• 최대 반응의 단계별 집계를 통해 부분 특징과 전역 특징 간의 의미 관계를 학습하는 영역 조립 블록(RABs)을 도입한다.
• RABs를 통해 전역 및 부분 특징을 융합하여 분류 및 위치 지정을 위한 고수준의 구분 능력 있는 특징을 생성한다.

실험 결과

연구 질문

• RQ1 이미지 또는 특징 피라미드를 사용하지 않고도 다중 척도 영역 제안이 검출 정확도 향상에 기여할 수 있는가?
• RQ2 전역 특징과 부분 특징을 함께 모델링하면, 가림되거나 작은 객체 검출에서 특징의 구분 능력이 향상되는가?
• RQ3 유연한 특징 융합 메커니즘(RAB)이 가림 상태에서 신뢰할 수 있는 특징을 적응적으로 가중할 수 있는가?
• RQ4 제안된 R-DAD는 데이터 증강, 다중 척도 테스트, 모델 앙상블에 의존하지 않고도 최신 기술 수준의 성능을 달성하는가?
• RQ5 R-DAD 아키텍처는 다양한 백본 네트워크와 검출 아키텍처에 대해 얼마나 강건한가?

주요 결과

• R-DAD는 PASCAL VOC07에서 81.2%의 mAP를 기록했고, 추가적인 보조 수단 없이도 이전 방법들을 능가한다.
• MSCOCO18에서 R-DAD는 ResNet-101을 사용해 43.1%의 mAP를 달성했으며, 공식 테스트-데브 랭킹에서 높은 순위를 차지했다.
• 다중 척도 테스트를 적용한 R-DAD-v2는 ResNet-101을 사용해 MSCOCO18에서 44.9%의 mAP를 기록했으며, 극한의 설정 조건에서도 뛰어난 성능을 보였다.
• 절단 실험 결과, 다중 척도 제안 레이어와 RAB 기반 특징 융합이 성능 향상에 기여하는 것으로 확인되었다.
• 시각적 비교 결과, R-DAD는 특히 가림된 객체에서 오분류를 줄이고 정확도를 향상시키는 데 효과적이었다.
• 이 방법은 다양한 특징 추출기(ResNet-50, ResNet-101)와 검출 프레임워크에서 성능 향상을 이끌 수 있을 정도로 강건하고 일반화 능력이 뛰어나다.