[논문 리뷰] Point Linking Network for Object Detection

Xinggang Wang, Kaibing Chen외 3명|arXiv (Cornell University)|2017. 06. 12.

Advanced Neural Network Applications참고 문헌 3인용 수 25

한 줄 요약

이 논문은 깊이 있는 완전 컨volution 신경망을 통해 학습 가능한 중심점과 모서리 점을 연결하는 방식으로 객체를 표현하는 새로운 객체 검출 프레임워크인 Point Linking Network(PLN)을 제안한다. 키포인트와 그 연결 관계를 종단 간(end-to-end)으로 회귀함으로써, 데이터 증강 없이도 PASCAL VOC 2007/2012 및 COCO 벤치마크에서 최신 기준(single-model) 성능을 달성하며, 가림, 척도, 종횡비 변동에 대한 강건성을 입증한다.

ABSTRACT

Object detection is a core problem in computer vision. With the development of deep ConvNets, the performance of object detectors has been dramatically improved. The deep ConvNets based object detectors mainly focus on regressing the coordinates of bounding box, e.g., Faster-R-CNN, YOLO and SSD. Different from these methods that considering bounding box as a whole, we propose a novel object bounding box representation using points and links and implemented using deep ConvNets, termed as Point Linking Network (PLN). Specifically, we regress the corner/center points of bounding-box and their links using a fully convolutional network; then we map the corner points and their links back to multiple bounding boxes; finally an object detection result is obtained by fusing the multiple bounding boxes. PLN is naturally robust to object occlusion and flexible to object scale variation and aspect ratio variation. In the experiments, PLN with the Inception-v2 model achieves state-of-the-art single-model and single-scale results on the PASCAL VOC 2007, the PASCAL VOC 2012 and the COCO detection benchmarks without bells and whistles. The source code will be released.

연구 동기 및 목표

• 척도, 종횡비, 가림에 민감한 기존 딥 러닝 기반 객체 검출기의 한계를 해결한다.
• 객체 표현을 점 쌍으로 재고함으로써 유연한 바운딩 박스 회귀 파라다임을 초월한다.
• 점 검출과 점 연결을 동시에 최적화하는 통합된 딥 러닝 프레임워크를 개발하여 종단 간 학습을 가능하게 한다.
• 데이터 증강 없이 단일 모델과 단일 척도에서 최신 기준의 검출 성능을 달성한다.
• People-Art와 같이 표준 벤치마크 외의 도메인에서의 일반화 능력을 입증한다.

제안 방법

• 각 객체를 중심점 하나와 모서리 점 하나(예: 왼쪽 위, 오른쪽 아래)로 구성된 점 쌍으로 표현한다.
• 각 특징 맵 격자에 대해 중심점과 모서리 점의 신뢰도, 오프셋, 연결 점수를 예측하기 위해 완전 컨volution 신경망을 사용한다.
• 점 검출과 점 연결을 동시에 최적화하는 연속 손실 함수를 사용하여 네트워크를 훈련한다.
• 예측된 점 쌍에서 후보 바운딩 박스를 재구성하고, 최종 검출 결과를 도출하기 위해 비최대 억제(NMS)를 적용한다.
• 다양한 모서리-중심 점 쌍에서 유도된 여러 바운딩 박스를 융합하여 강건성 향상과 임계값 이하의 오류 감소를 달성한다.
• 한 객체당 최대 네 개까지의 점 쌍을 활용하여 투표 기반 정밀도 향상 기법을 도입함으로써 검출 신뢰도를 향상시킨다.

실험 결과

연구 질문

• RQ1 기존 바운딩 박스 회귀 방식과 비교해, 점 기반의 객체 바운딩 박스 표현 방식이 가림 및 척도/종횡비 변동에 대해 더 강건한가?
• RQ2 점 검출과 연결 학습을 종단 간으로 수행할 경우, 표준 벤치마크에서 더 나은 일반화 능력과 성능을 달성할 수 있는가?
• RQ3 점 검출과 연결을 위한 연속 손실 함수를 사용해 훈련된 단일 딥 네트워크가 데이터 증강 없이도 Faster R-CNN, YOLO, SSD와 같은 기존 검출기들을 능가할 수 있는가?
• RQ4 People-Art와 같이 시각적 스타일이 뚜렷한 외부 도메인 데이터셋에 대해 제안된 프레임워크는 얼마나 잘 일반화되는가?
• RQ5 다양한 모서리-중심 점 쌍 간의 투표 메커니즘이 검출 정확도와 강건성 향상에 얼마나 기여하는가?

주요 결과

• Inception-v2를 사용한 PLN는 데이터 증강 없이도 PASCAL VOC 2007 및 2012에서 최신 기준의 단일 모델, 단일 척도 mAP 성능을 달성한다.
• COCO test-dev2015에서 PLN512는 28.9% mAP@[0.5:0.95]와 48.3% mAP@0.5를 기록하여 동일한 설정에서 YOLOv2, SSD512, ION, Faster R-CNN를 모두 능가한다.
• 멀티스케일 예측 없이도 PLN512는 mAP@0.5와 mAP@[0.5:0.95] 모두에서 SSD512를 초월하여, 제안된 손실 함수와 표현 방식의 효과를 입증한다.
• 다양한 모서리-중심 점 쌍에서 유도된 검출 결과 융합이 가림에 대한 강건성을 크게 향상시킴을 정성적 비교를 통해 입증한다.
• PLN은 People-Art 데이터셋에 대해 잘 일반화되며, 47%의 AP를 기록하여 YOLO(45%)와 R-CNN(26%)를 모두 초월함으로써 뛰어난 도메인 일반화 능력을 입증한다.
• 척도 변화와 부분적 가림과 같은 도전적인 상황에서도 다양한 객체 카테고리에 걸쳐 높은 성능을 유지한다.