[논문 리뷰] Joint COCO and Mapillary Workshop at ICCV 2019: COCO Instance Segmentation Challenge Track

Zeming Li, Yuchen Ma외 3명|arXiv (Cornell University)|2020. 10. 06.

Reservoir Engineering and Simulation Methods참고 문헌 12인용 수 7

한 줄 요약

이 논문은 새로운 RPN++ 헤드를 사용해 객체를 먼저 탐지한 후 Mask R-CNN을 통해 예측을 정밀하게 보정하는 이단계 식별 분할 시스템인 MegDetV2를 제안한다. 이 방법은 COCO-2019 test-dev에서 검출 작업에 대해 61.0 mAP, 식별 분할 작업에 대해 53.1 mAP를 기록하여 COCO 2019 및 2020 도전 대회에서 각각 새로운 최고 성능을 달성한다.

ABSTRACT

In this report, we present our object detection/instance segmentation system, MegDetV2, which works in a two-pass fashion, first to detect instances then to obtain segmentation. Our baseline detector is mainly built on a new designed RPN, called RPN++. On the COCO-2019 detection/instance-segmentation test-dev dataset, our system achieves 61.0/53.1 mAP, which surpassed our 2018 winning results by 5.0/4.2 respectively. We achieve the best results in COCO Challenge 2019 and 2020.

연구 동기 및 목표

• 이중 처리 검출 및 분할 파이프라인을 통해 COCO 데이터셋에서 식별 분할 성능을 향상시키는 것.
• 지표와의 높은 IoU를 고려하고 클래스 인식 샘플링을 활용하여 제안 품질을 향상시키는 새로운 RPN++ 헤드를 설계하는 것.
• 가변 컨볼루션, 다중 규모 훈련, 모델 앙상블와 같은 고급 기법을 통합하여 최고 성능을 달성하는 것.
• 통합적이고 확장 가능한 훈련 및 추론 파이프라인을 사용해 검출 및 식별 분할 벤치마크에서 뛰어난 성능을 달성하는 것.

제안 방법

• 시스템은 이중 처리 파이프라인을 사용한다: 첫 번째로 FPN 기반 검출기가 경계 상자 제안을 생성하고, 두 번째로 이러한 제안이 Mask R-CNN 헤드에 공급되어 식별 분할을 수행한다.
• RPN++는 RPN 점수 대신 진짜 지표와의 IoU를 사용하여 제안 선택을 향상시키며, NMS의 IoU 임계값을 완화하여 고품질 제안을 유지한다.
• 클래스 인식 샘플링은 각 클래스의 IoU 분포에 따라 제안 샘플링을 동적으로 조정하여 다양한 객체 카테고리 간 균형을 향상시킨다.
• ResNet 스테이지와 RoI-Align에 가변 컨볼루션 및 풀링 레이어를 적용하여 공간적 특징을 더 잘 포착함으로써 검출 정확도를 향상시킨다.
• 완전 연결 레이어 대신 4층의 스택된 컨볼루션 헤드를 사용하여 경계 상자 회귀를 수행함으로써 공간적 특징 활용도를 향상시킨다.
• 더 큰 입력 크기(600–1600)를 사용한 다중 규모 훈련과 테스트 시 수평 반전을 통해 성능을 추가로 향상시켰다.

실험 결과

연구 질문

• RQ1 독립적인 검출 및 분할 헤드를 가진 이중 처리 파이프라인이 종단 간 모델보다 식별 분할 성능에서 뛰어나게 되는가?
• RQ2 RPN++에서 높은 IoU 기반 제안 샘플링이 표준 NMS 대비 검출 및 분할 성능 향상에 어떤 영향을 미치는가?
• RQ3 가변 컨볼루션과 다중 규모 훈련이 COCO에서 mAP 향상에 얼마나 기여하는가?
• RQ4 Objects365에서의 사전 훈련과 모델 앙상블이 최종 검출 및 분할 mAP에 어떤 영향을 미치는가?

주요 결과

• 최종 이중 처리 시스템은 COCO-2019 test-dev에서 객체 검출 작업에 대해 61.0 mAP를 기록하여 2018년 우승 성과보다 5.0 mAP 높은 성능을 달성했다.
• 식별 분할 작업에서는 COCO-2019 test-dev에서 53.1 mAP를 기록하여 2018년 성과보다 4.2 mAP 향상되었다.
• 고품질 IoU 샘플링을 사용한 RPN++는 FPN을 2.5 mAP 향상시켰다(38.8 대비 36.3), 캐스케이드 헤드와 함께 사용하면 40.7 mAP에 도달한다.
• 클래스 인식 샘플링은 FPN을 1.3 mAP 향상시켰다(37.6 대비 36.3), 가변 컨볼루션은 표준 FPN 대비 2.6 mAP 향상 기여했다.
• 더 큰 입력 크기(600–1600)를 사용한 다중 규모 훈련은 표준 400–1400 스케일링 대비 mAP를 0.9 포인트 향상시켰다.
• 세 개인 검출 모델과 두 개인 분할 모델을 앙상블하여 COCO test-dev에서 최종적으로 61.0 mAP와 53.1 mAP의 성능을 달성했다.