[논문 리뷰] Location-Sensitive Visual Recognition with Cross-IOU Loss

Kaiwen Duan, Lingxi Xie외 4명|arXiv (Cornell University)|2021. 04. 11.

Advanced Neural Network Applications인용 수 27

한 줄 요약

본 논문은 LSNet을 제시한다, 위치 민감한 시각 인식(객체 탐지, 인스턴스 분할, 자세 추정)을 위한 단일한 앵커 프리 프레임워크로, 앵커 포인트와 여러 랜드마크를 예측하고 다중 스케일 객체를 처리하기 위해 새로운 cross-IOU 손실로 최적화한다. 이는 MS-COCO에서 앵커 프리 방식의 최첨단 성능을 달성하고, 컨투어 기반 분할 및 자세 추정 성능에서도 강력한 성능을 보여준다.

ABSTRACT

Object detection, instance segmentation, and pose estimation are popular visual recognition tasks which require localizing the object by internal or boundary landmarks. This paper summarizes these tasks as location-sensitive visual recognition and proposes a unified solution named location-sensitive network (LSNet). Based on a deep neural network as the backbone, LSNet predicts an anchor point and a set of landmarks which together define the shape of the target object. The key to optimizing the LSNet lies in the ability of fitting various scales, for which we design a novel loss function named cross-IOU loss that computes the cross-IOU of each anchor point-landmark pair to approximate the global IOU between the prediction and ground-truth. The flexibly located and accurately predicted landmarks also enable LSNet to incorporate richer contextual information for visual recognition. Evaluated on the MS-COCO dataset, LSNet set the new state-of-the-art accuracy for anchor-free object detection (a 53.5% box AP) and instance segmentation (a 40.2% mask AP), and shows promising performance in detecting multi-scale human poses. Code is available at https://github.com/Duankaiwen/LSNet

연구 동기 및 목표

• 탐지, 분할, 자세 추정을 위한 통합 위치 민감한 형식을 제시하는 것을 목표로 한다.
• 앵커 포인트와 랜드마크를 사용하여 객체 기하를 정의하는 LSNet을 개발한다.
• 전역 IOU 정확도와 로컬 랜드마크 정합의 균형을 맞추기 위한 cross-IOU 손실을 설계한다.
• 랜드마크 주변의 Pyramid Deformable Convolution을 통해 특징을 강화하여 인식을 개선한다.

제안 방법

• 백본 위에 앵커 포인트와 N개의 랜드마크를 예측하여 객체 기하를 정의한다.
• 오프셋 벡터를 통해 전역 IOU를 근사하여 랜드마크 오프셋을 감독하기 위해 cross-IOU 손실을 사용한다.
• 예측된 랜드마크 주변에 Pyramid Deformable Convolution (Pyramid-DCN)을 적용하여 구별 가능한 특징을 추출한다.
• 앵커 포인트 + 랜드마크를 포함하는 2단계 파이프라인으로 학습하고, 분류 및 위치화에 대해 DCN 기반 특징으로 정제한다.
• 강건한 위치화를 위해 FPN과 ATSS 기반 할당을 통해 다중 스케일 특징을 통합한다.

실험 결과

연구 질문

• RQ1 앵커와 랜드마크를 예측함으로써 단일의 앵커 프리 프레임워크가 객체 탐지, 인스턴스 분할, 자세 추정을 결합적으로 처리할 수 있는가?
• RQ2 cross-IOU 손실이 다중 스케일 및 다양한 모양의 객체에 대해 강력한 감독을 제공하는가?
• RQ3 랜드마크 기반 특징과 Pyramid-DCN이 태스크 간 위치화 및 인식을 개선하는가?
• RQ4 LSNet은 MS-COCO에서 최첨단 앵커 프리 및 컨투어 기반 방법과 비교하여 어떤 성능을 보이는가?
• RQ5 LSNet이 히트맵 없이도 다중 스케일 자세 추정에 효과적으로 작동하는가?

주요 결과

• LSNet은 더 강한 백본과 다중 스케일 테스트를 사용할 때 MS-COCO에서 앵커 프리 객체 탐지의 최첨단 성능에 근접한 결과를 달성한다.
• LSNet은 단일 스케일 및 다중 스케일 테스트에서 COCO의 컨투어 기반 인스턴스 분할에서 최첨단 성능을 달성한다.
• Cross-IOU 손실은 극단적 경계 상자 회귀에 대해 smooth-L1 및 비-IOU 변형에 비해 성능 향상을 제공하고 랜드마크 기반 감독을 지원한다.
• 랜드마크 특징과 Pyramid-DCN 특징이 탐지 정밀도와 위치화를 향상시킨다.
• LSNet은 히트맵 없이 회귀를 사용한 자세 추정에서도 경쟁력 있는 결과를 보이며, 다중 스케일 인간 자세에도 잘 확장된다.