[논문 리뷰] Bottom-up Object Detection by Grouping Extreme and Center Points

Xingyi Zhou, Jiacheng Zhuo외 1명|arXiv (Cornell University)|2019. 01. 23.

Advanced Neural Network Applications참고 문헌 41인용 수 107

한 줄 요약

ExtremeNet는 각 객체 카테고리마다 네 개의 극점과 중심점을 감지한 뒤 기하적으로 그룹화하여 경계 상자를 형성하고, 지역 제안 없이 COCO 결과에서 경쟁력 있는 성능을 달성합니다.

ABSTRACT

With the advent of deep learning, object detection drifted from a bottom-up to a top-down recognition problem. State of the art algorithms enumerate a near-exhaustive list of object locations and classify each into: object or not. In this paper, we show that bottom-up approaches still perform competitively. We detect four extreme points (top-most, left-most, bottom-most, right-most) and one center point of objects using a standard keypoint estimation network. We group the five keypoints into a bounding box if they are geometrically aligned. Object detection is then a purely appearance-based keypoint estimation problem, without region classification or implicit feature learning. The proposed method performs on-par with the state-of-the-art region based detection methods, with a bounding box AP of 43.2% on COCO test-dev. In addition, our estimated extreme points directly span a coarse octagonal mask, with a COCO Mask AP of 18.9%, much better than the Mask AP of vanilla bounding boxes. Extreme point guided segmentation further improves this to 34.6% Mask AP.

연구 동기 및 목표

• 극점과 중심 키포인트를 사용한 바텀업 객체 탐제가 상향식(region-based) 방식과 대응될 수 있음을 동기 부여하고 시연한다.
• 예측된 키포인트로부터 객체의 경계 상자를 형성하기 위한 순수한 외관 기반 기하학적 그룹화 방법을 제안한다.
• 극점이 더 풍부한 객체 정보를 제공하고 옥텡곤 피팅을 통한 거친 마스크 추정 및 선택적으로 DEXTR 기반 정교화를 가능하게 한다.
• 경계 상자 및 인스턴스 분할 지표에 걸쳐 현시점의 원스테이지 및 투스테이지 탐지도와의 비교를 위해 COCO에서 ExtremeNet를 평가한다.

제안 방법

• 최신 키포인트 추정 네트워크(HourglassNet)를 사용하여 객체 카테고리당 다섯 개의 히트맵(네 개의 극점: 위, 좌, 아래, 우; 하나의 중심점)을 예측한다.
• 가능한 사중치를 열거하고 기하학적 중심이 중심 히트맵 출력과 일치하는 것을 선택하여 극점들을 탐지로 그룹화한다.
• 임계치를 이용한 중심 그룹화를 사용하여 경계 상자를 만들고 다섯 개의 키포인트 히트맵 평균 점수로 신뢰도를 감지한다.
• 선택적으로 에지 집계를 적용하여 인접한 에지 반응을 강화하고 가짜 박스 억제를 통해 거짓 양성을 완화한다.
• 예측 극점으로부터 옥텡곤을 피팅하여 인스턴스 마스크를 근사하고, 선택적으로 극점을 가이드로 사용한 DEXTR 세그먼테이션 네트워크로 정제한다.

실험 결과

연구 질문

• RQ1 네 개의 극점과 한 중심점을 이용한 바텀업 탐지가 영역 기반 탐지기와 비교해 경쟁력 있는 경계 상자 AP를 달성할 수 있는가?
• RQ2 연관 임베딩이나 영역 제안 없이 순수 기하학적 극점 그룹화가 다양한 스케일과 가림에서 점들을 객체에 신뢰성 있게 연결하는가?
• RQ3 극점 기반 마스크(옥텡곤)와 DEXTR 기반 정교화가 인스턴스 분할에서 전적으로 감독된 방법에 비해 얼마나 잘 작동하는가?

주요 결과

• ExtremeNet는 COCO test-dev에서 멀티스케일 테스트로 43.7% 경계 상자 AP를 달성해 최첨단 투스테이지 탐지기와 동등하거나 그에 비해 우수하고 많은 원스테이지 방법보다 낫다.
• 기하학적 추론과 중심 그룹화는 효과적인 객체 연결을 제공하며, 중심 그룹화나 에지 집계를 제거할 때 중요한 감소를 보이는 차등 분석(ablation)이 있다.
• 극점으로부터 파생된 옥텡곤 마스크는 COCO val2017에서 18.9% Mask AP를 달성하여 순진한 경계 상자 마스크보다 상당히 우수하고 DEXTR와 함께 사용할 때 경쟁력이 있어 34.6%의 Mask AP에 이른다.
• 가짜 박스 억제(ghost box suppression)와 에지 집계는 미미하지만 의미 있는 향상을 기여하여 바텀업 그룹화 접근법의 견고함을 시사한다.