[논문 리뷰] Dynamic Refinement Network for Oriented and Densely Packed Object Detection

Xingjia Pan, Yuqiang Ren외 6명|arXiv (Cornell University)|2020. 05. 20.

Advanced Neural Network Applications참고 문헌 54인용 수 14

한 줄 요약

이 논문은 방향성 및 조밀하게 포장된 객체 검출을 위한 동적 정련 네트워크(DRN)를 제안하며, 객체의 형태와 방향에 맞게 수용영역을 적응적으로 조정하는 특징 선택 모듈(FSM)과 객체 인식 기반 분류 및 회귀 정련을 위한 두 개의 동적 정련 헤드(DRH-C 및 DRH-R)를 도입한다. 이 방법은 DOTA, HRSC2016, SKU110K-R 벤치마크에서 일관되고 상당한 성능 향상을 이룩하였으며, AP50 향상률이 최대 65.7%이고 AP75는 36.9%에 이를 정도로, 모델 파라미터의 추가가 최소한이다.

ABSTRACT

Object detection has achieved remarkable progress in the past decade. However, the detection of oriented and densely packed objects remains challenging because of following inherent reasons: (1) receptive fields of neurons are all axis-aligned and of the same shape, whereas objects are usually of diverse shapes and align along various directions; (2) detection models are typically trained with generic knowledge and may not generalize well to handle specific objects at test time; (3) the limited dataset hinders the development on this task. To resolve the first two issues, we present a dynamic refinement network that consists of two novel components, i.e., a feature selection module (FSM) and a dynamic refinement head (DRH). Our FSM enables neurons to adjust receptive fields in accordance with the shapes and orientations of target objects, whereas the DRH empowers our model to refine the prediction dynamically in an object-aware manner. To address the limited availability of related benchmarks, we collect an extensive and fully annotated dataset, namely, SKU110K-R, which is relabeled with oriented bounding boxes based on SKU110K. We perform quantitative evaluations on several publicly available benchmarks including DOTA, HRSC2016, SKU110K, and our own SKU110K-R dataset. Experimental results show that our method achieves consistent and substantial gains compared with baseline approaches. The code and dataset are available at https://github.com/Anymake/DRN_CVPR2020.

연구 동기 및 목표

• 축에 대칭된 수용영역과 임의의 방향성, 조밀하게 포장된 객체 간의 정렬 불일치 문제를 해결하기 위해.
• 정적 모델 예측을 대체하여 추론 중에 동적이고 객체 인식 기반의 정련을 통해 탄력적이고 샘플별로 특화된 추론을 가능하게 하기 위해.
• 일반 지식 기반으로 훈련된 모델과 실제 방향성 객체 인스턴스의 특정 요구사항 사이의 일반화 갭을 극복하기 위해.
• 방향성 바운딩 박스를 포함한 완전히 애너테이션된 새로운 벤치마크인 SKU110K-R을 제공하여 이 도전적인 검출 환경에서의 연구를 지원하기 위해.

제안 방법

• 특징 선택 모듈(FSM)은 학습 가능한 분할 기반 커널(예: 1×3 및 3×1)을 사용하여 객체의 형태와 방향에 맞게 수용영역을 동적으로 조정함으로써 특징 표현을 향상시킨다.
• 두 개의 동적 정련 헤드(DRH-C 및 DRH-R)를 도입한다: DRH-C는 객체 특성에 맞게 적응하여 분류 점수를 정련하고, DRH-R은 스케일, 각도, 오프셋을 객체 인식 기반으로 회귀 출력을 정련한다.
• FSM는 다중 분할 아키텍처를 사용하여 형태와 회전의 두 가지 자유도를 제공함으로써, 뉴런이 객체 기하학적 특성에 따라 관련된 공간 영역에 선택적으로 집중할 수 있도록 한다.
• DRH는 입력 특징에 조건부된 동적 필터를 통해 구현되며, 모델 파라미터를 크게 증가시키지 않고도 샘플별 예측 정련을 가능하게 한다.
• 이 방법은 중심점 기반 검출기인 CenterNet을 기반으로 하며, 추가로 각도 예측 헤드를 통합하고, 표준 검출 손실 함수를 사용해 전체 프레임워크를 엔드 투 엔드로 훈련한다.
• 새로운 데이터셋인 SKU110K-R은 원본 SKU110K를 방향성 바운딩 박스로 재애너테이션하여, 방향성 객체 검출에서의 평가를 지원하기 위해 구축되었다.

실험 결과

연구 질문

• RQ1 동적 수용영역 적응이 방향성 및 조밀하게 포장된 객체의 특징 표현을 향상시키는가?
• RQ2 객체 인식 기반의 동적 정련 헤드가 모델 복잡도를 증가시키지 않고도 검출 정확도를 향상시키는가?
• RQ3 제안된 방법은 다양한 객체 방향성과 조밀한 포장 구조를 가진 벤치마크에서 어떻게 성능을 내는가?
• RQ4 새로운 SKU110K-R 데이터셋이 방향성 객체 검출 모델 평가에 어느 정도 기여하는가?

주요 결과

• 제안된 DRN은 DOTA 검증 세트에서 AP50 65.7%와 AP75 36.9%를 달성하였으며, 기준 모델 대비 각각 2.3% 향상된 성능을 보였다.
• DRH-C 헤드는 분류 정확도를 0.21에서 0.32로 향상시키고, 재현율을 0.81에서 0.89로 높여 중심점 정렬 정확도 향상을 입증하였다.
• DRH-R 헤드는 스케일 회귀의 L1 오차를 1.24 감소시키며, AP50와 AP75를 각각 0.7%와 0.6% 향상시켜 회귀 정련의 효과성을 입증하였다.
• FSM는 AP50를 63.4%에서 64.4%로, AP75를 34.6%에서 35.7%로 상승시켜 수용영역 정렬 불일치 완화에 기여함을 확인하였다.
• FSM와 DRH-R를 모두 포함한 전체 DRN은 파라미터 수를 0.13M만 추가했고, 추론 시간은 0.078초에서 0.102초로 26% 증가하여 높은 효율성을 보였다.
• 이 방법은 DOTA, HRSC2016, SKU110K-R를 포함한 여러 벤치마크에서 일관된 성능 향상을 보이며 강력한 일반화 능력을 입증하였다.