[논문 리뷰] MatrixNets: A New Scale and Aspect Ratio Aware Architecture for Object Detection

Abdullah Rashwan, Rishav Agarwal외 2명|arXiv (Cornell University)|2020. 01. 09.

Advanced Neural Network Applications인용 수 5

한 줄 요약

MatrixNets는 특징 맵을 행렬 구조로 정렬하여 특정 크기와 종횡비를 가진 물체를 처리하는 데 전용 셀을 할당함으로써, 객체 검출을 위한 새로운 스케일 및 종횡비 인식 컨volution 네트워크 아키텍처를 제안한다. 이 설계는 다양한 물체의 형태와 크기 간에 균일한 특징 표현을 가능하게 하여 검출 정확도를 향상시키며, MS COCO에서 47.8 mAP를 달성한다. 이는 FPN 및 CornerNet 기준선을 능가하며, 이중 검출기와의 격차를 줄인다.

ABSTRACT

We present MatrixNets (xNets), a new deep architecture for object detection. xNets map objects with similar sizes and aspect ratios into many specialized layers, allowing xNets to provide a scale and aspect ratio aware architecture. We leverage xNets to enhance single-stage object detection frameworks. First, we apply xNets on anchor-based object detection, for which we predict object centers and regress the top-left and bottom-right corners. Second, we use MatrixNets for corner-based object detection by predicting top-left and bottom-right corners. Each corner predicts the center location of the object. We also enhance corner-based detection by replacing the embedding layer with center regression. Our final architecture achieves mAP of 47.8 on MS COCO, which is higher than its CornerNet counterpart by +5.6 mAP while also closing the gap between single-stage and two-stage detectors. The code is available at https://github.com/arashwan/matrixnet.

연구 동기 및 목표

• 기존의 특징 피라미드 네트워크(FPNs)가 다양한 종횡비, 특히 장직선형 물체를 처리하는 데에 한계가 있음을 해결하기 위해.
• 크기와 종횡비에 따라 물체를 특징 레이어에 할당하는 백본을 설계하여 단일 단계 객체 검출 성능을 향상시키기 위해.
• MatrixNet 아키텍처를 사용하여 앵커 기반 및 코너 기반 검출 프레임워크를 모두 향상시키기 위해.
• 다양한 물체 형태에 대한 더 나은 특징 표현을 통해 단일 단계 및 이중 단계 검출기 간의 성능 격차를 줄이기 위해.
• MatrixNets가 다양한 컴퓨터 비전 작업에서 FPN의 즉각적인 교체로 사용될 수 있음을 입증하기 위해.

제안 방법

• MatrixNets는 특징 맵을 행렬 구조로 정렬하며, 대각선 레이어는 FPN 레벨에 해당하고, 비대각선 레이어는 다양한 크기-종횡비 조합을 커버하기 위해 다운샘플링으로 생성된다.
• 각 행렬 셀은 정의된 범위 내의 크기와 종횡비를 가진 물체를 담당하며, 이는 균일한 수신 영역 커버리지를 보장한다.
• 각 행렬 레이어에 단일 출력 서브넷을 사용하여, 정사각형 컨볼루션 커널이 종횡비 간 균형 잡힌 정보를 수집할 수 있도록 한다.
• 앵커 기반 검출에서는 특징 맵당 하나의 앵커만 사용하며, 앵커리스 설계로의 이동을 시도하면서 동시에 상단-좌측 및 하단-우측 모서리의 회귀를 유지한다.
• 코너 기반 검출에서는 상단-좌측 및 하단-우측 코너 히트맵을 예측하고 중심 회귀를 사용하여 매칭을 향상시키며, 임베딩 레이어를 대체한다.
• 유연한 백본 통합(예: ResNet50-X, ResNet101-X)을 지원하며, 기본 레이어 범위 및 훈련 코너 크기의 하이퍼파rameter 조정이 가능하다.

실험 결과

연구 질문

• RQ1 표준 FPN과 비교해 행렬 구조의 특징 계층이 다양한 종횡비를 가진 물체의 검출 성능을 향상시키는가?
• RQ2 크기와 종횡비에 따라 물체를 행렬 레이어에 할당하는 방식이 단일 단계 검출기의 검출 정확도에 어떤 영향을 미치는가?
• RQ3 MatrixNets가 CornerNet과 같은 코너 기반 객체 검출 프레임워크를 얼마나 향상시킬 수 있는가?
• RQ4 MS COCO에서 성능을 최대화하기 위해 최적의 기본 레이어 범위와 훈련 코너 크기는 무엇인가?
• RQ5 MatrixNets는 단일 단계 및 이중 단계 검출기 간의 성능 격차를 줄일 수 있는가?

주요 결과

• MatrixNets는 MS COCO에서 47.8 mAP를 달성하여 CornerNet 기준선 대비 +5.6 mAP 향상되었다.
• FPN의 5개 레이어 대비 19개의 행렬 레이어를 사용함으로써 mAP는 35.9에서 41.0으로 상승하여, 더 높은 레이어 정밀도의 이점이 입증되었다.
• 24px–48px의 최적 기준 레이어 범위는 물체 할당 균형을 유지하면서 모든 행렬 레이어에서 성능 향상을 이끌어냈다.
• 더 큰 훈련 코너 크기(640×640)는 512×512 대비 성능 향상을 보였으며, 특히 작은 물체를 처리하는 하단-우측 행렬 레이어에서 두드러졌다.
• ResNet152-X와 함께 MatrixNet을 사용한 경우 Corners-$x$ Net에서 44.7 mAP를 기록하여 깊이 있는 백본과의 우수한 확장성을 입증했다.
• 시각적 결과는 MatrixNet을 사용할 경우 FPN 대비 장직선형 물체에 대해 더 타이트한 바운딩 박스를 제공함으로써 종횡비 처리 능력이 향상됨을 확인했다.