[논문 리뷰] Point-Set Anchors for Object Detection, Instance Segmentation and Pose Estimation

Fangyun Wei, Xiao Sun외 3명|arXiv (Cornell University)|2020. 07. 06.

Advanced Neural Network Applications참고 문헌 48인용 수 15

한 줄 요약

이 논문은 객체 검출, 인스턴스 세그멘테이션, 인간 자세 추정에서 관건 회귀 성능을 향상시키기 위해 기존의 앵커 박스를 임의의 작업에 특화된 점 집합으로 대체하는 일반적인 프레임워크인 Point-Set Anchors를 소개한다. 유의미한 기하학적 정보를 가진 위치(예: 자세 모드 또는 경계 상자 경계선)에서 점을 샘플링하고 이를 특징 추출 중심으로 사용함으로써, COCO 자세 추정에서 CenterNet을 5.7 AP 뛰어넘는 최신 기술 성능을 달성한다.

ABSTRACT

A recent approach for object detection and human pose estimation is to regress bounding boxes or human keypoints from a central point on the object or person. While this center-point regression is simple and efficient, we argue that the image features extracted at a central point contain limited information for predicting distant keypoints or bounding box boundaries, due to object deformation and scale/orientation variation. To facilitate inference, we propose to instead perform regression from a set of points placed at more advantageous positions. This point set is arranged to reflect a good initialization for the given task, such as modes in the training data for pose estimation, which lie closer to the ground truth than the central point and provide more informative features for regression. As the utility of a point set depends on how well its scale, aspect ratio and rotation matches the target, we adopt the anchor box technique of sampling these transformations to generate additional point-set candidates. We apply this proposed framework, called Point-Set Anchors, to object detection, instance segmentation, and human pose estimation. Our results show that this general-purpose approach can achieve performance competitive with state-of-the-art methods for each of these tasks. Code is available at \url{https://github.com/FangyunWei/PointSetAnchor}

연구 동기 및 목표

• 스케일, 방향, 변형 변화로 인해 중심점에서의 특징가 중심점 회귀의 한계를 해결하기 위해, 중심점에서의 특징가 먼 관건에 대해 정보가 부족한 문제를 해결한다.
• 단일 중심점 대신 전략적으로 배치된 점들의 집합을 사용해 관건 회귀의 초기화 과정을 더 잘 초기화함으로써 특징의 표현력을 향상시킨다.
• 다양한 객체 형태와 자세를 반영하기 위해 스케일, 종횡비, 방향에 걸쳐 샘플링되는 점 집합 앵커를 도입함으로써 앵커 박스 개념을 일반화한다.
• RetinaNet의 앵커 박스를 점 집합 앵커로 대체하고, 다중 작업에 걸쳐 관건 예측을 위한 병렬 회귀 헤드를 추가한 통합 프레임워크인 PointSetNet을 개발한다.
• 단일 유연한 아키텍처를 사용해 객체 검출, 인스턴스 세그멘테이션, 인간 자세 추정 전반에서 경쟁적인 성능을 입증한다.

제안 방법

• 각 앵커가 작업에 특화되고 기하학적으로 유리한 위치(예: 자세 모드 또는 경계 상자 경계선)에 배치된 점들의 집합인 Point-Set Anchors를 앵커 박스의 일반화로 제안한다.
• 잠재적인 타겟의 스케일, 종횡비, 회전을 반영하기 위해 앵커 박스에서 영감을 얻은 다중 스케일, 다중 방향 샘플링 전략을 사용해 다양한 점 집합 후보를 생성한다.
• PointSetNet을 RetinaNet의 변형으로 설계: 앵커 박스를 점 집합 앵커로 대체하고, 관건 오프셋 예측을 위한 병렬 회귀 헤드를 추가한다.
• 인스턴스 세그멘테이션의 경우, 암시적 경계 상자 경로를 따라 균일하게 점을 샘플링하여 마스크 경계를 표현한다.
• 자세 추정의 경우, 훈련 데이터에서 자주 나타나는 자세 구성에 기반해 점 집합을 초기화함으로써 특징 품질과 회귀 정확도를 향상시킨다.
• 다단계 정밀 조정을 적용: 후속 단계에서 더 높은 OKS 임계값을 사용해 더 정확한 제안을 정밀 조정함으로써 국소화 정밀도를 향상시킨다.

실험 결과

연구 질문

• RQ1 중심점 회귀를 작업에 특화된 점들의 집합으로 대체함으로써 객체 검출 및 자세 추정에서 관건 국소화 성능을 향상시킬 수 있는가?
• RQ2 점 집합 구성의 선택(예: 자세 모드, 경계점)이 특징 품질과 회귀 성능에 미치는 영향은 어떠한가?
• RQ3 점 집합 앵커가 객체 검출, 인스턴스 세그멘테이션, 인간 자세 추정과 같은 다양한 작업에 얼마나 잘 일반화되는가?
• RQ4 점진적으로 더 엄격한 양성 샘플 임계값을 사용한 다단계 정밀 조정이 관건 회귀 작업 성능을 향상시키는가?
• RQ5 백본 네트워크와 다중 스케일 테스트가 PointSetNet 프레임워크 성능에 미치는 영향은 어떠한가?

주요 결과

• Point-Set Anchors는 관건 회귀 성능을 크게 향상시킨다: 9개의 관건 점을 특징으로 사용할 경우 46.0 AP를 달성하며, 동일한 수의 점을 사용한 중심점 특징 대비 3.2 AP 향상(7.5% 상대적 향상)을 기록한다.
• 다단계 정밀 조정은 성능을 9.7 AP(20.1% 상대적 향상) 향상시켰으며, 두 번째 단계에서 58.0 AP를 기록한 반면 첫 번째 단계는 48.3 AP였다.
• 더 강력한 백본(HRNet-W48)과 다중 스케일 테스트를 적용하면 AP가 62.5에서 69.8로 7.3 AP 상승하여, 이 프레임워크의 확장성과 유연성을 입증한다.
• PointSetNet은 MS COCO test-dev2017에서 68.7 AP를 기록하여, CenterNet(63.0 AP)을 5.7 AP 뛰어넘는 성능을 보이며 최신 기술 수준의 경쟁력을 입증한다.
• 단일 통합 아키텍처를 사용해 객체 검출, 인스턴스 세그멘테이션, 자세 추정 전반에서 최신 기술 성능을 달성한다.
• 제거 분석 결과, 형태 색인 특징의 주요 이점은 분류가 아니라 자세 회귀 향상에 있음을 확인하였으며, 이는 특히 회귀 헤드에서 성능 향상이 가장 두드러졌다.