[논문 리뷰] 1st Place Solutions for OpenImage2019 -- Object Detection and Instance Segmentation

Yu Liu, Guanglu Song외 6명|arXiv (Cornell University)|2020. 03. 17.

Advanced Neural Network Applications참고 문헌 32인용 수 12

한 줄 요약

이 논문은 OpenImages 2019 객체 검출 및 인스턴스 세그멘테이션 도전 대회에서 1등을 차지한 솔루션을 제시한다. 저자들은 분류와 회귀 특징을 학습 가능한 공간적 오프셋을 통해 분리하는 Decoupling Head (DH)를 도입하여 검출 성능을 크게 향상시켰다. 또한 adj-NMS, 모델 앙상블, 그리고 단순한 인스턴스 세그멘테이션 파이프라인을 통해 공개 및 비공개 랭킹에서 최고 성능을 기록했다.

ABSTRACT

This article introduces the solutions of the two champion teams, `MMfruit' for the detection track and `MMfruitSeg' for the segmentation track, in OpenImage Challenge 2019. It is commonly known that for an object detector, the shared feature at the end of the backbone is not appropriate for both classification and regression, which greatly limits the performance of both single stage detector and Faster RCNN \cite{ren2015faster} based detector. In this competition, we observe that even with a shared feature, different locations in one object has completely inconsistent performances for the two tasks. extit{E.g. the features of salient locations are usually good for classification, while those around the object edge are good for regression.} Inspired by this, we propose the Decoupling Head (DH) to disentangle the object classification and regression via the self-learned optimal feature extraction, which leads to a great improvement. Furthermore, we adjust the soft-NMS algorithm to adj-NMS to obtain stable performance improvement. Finally, a well-designed ensemble strategy via voting the bounding box location and confidence is proposed. We will also introduce several training/inferencing strategies and a bag of tricks that give minor improvement. Given those masses of details, we train and aggregate 28 global models with various backbones, heads and 3+2 expert models, and achieves the 1st place on the OpenImage 2019 Object Detection Challenge on the both public and private leadboards. Given such good instance bounding box, we further design a simple instance-level semantic segmentation pipeline and achieve the 1st place on the segmentation challenge.

연구 동기 및 목표

• 공동 특징이 분류 및 회귀 모두에 최적화되지 않아 발생하는 검출기 성능 저하 문제를 해결하기 위해.
• 공유 헤드 내에서 분류 및 회귀 작업 간의 공간적 불일치 문제를 해결하기 위해.
• 신규 헤드 설계 및 강력한 훈련/추론 전략을 통해 검출 및 세그멘테이션 성능을 향상시키기 위해.
• 모델 앙상블 및 데이터 증강을 통해 OpenImages 2019 검출 및 세그멘테이션 벤치마크에서 최고 성능을 달성하기 위해.

제안 방법

• 공유 프포절에서 분류 및 회귀를 위한 별도로 최적화된 특징을 생성하기 위해 공간적으로 적응 가능한 오프셋을 학습하는 Decoupling Head (DH)를 제안한다.
• DH의 학습을 이끄는 데 사용하기 위해 분류 및 회귀 특징 간 최적의 분리를 장려하는 Controllable Margin Loss (CML)을 도입한다.
• 검출 성능을 안정화하고 국소화 정확도를 향상시키기 위해 표준 소프트-NMS를 개선한 adj-NMS를 적용한다.
• 다양한 스케일의 입력을 사용하는 훈련 및 추론 전략을 적용하고, 랜덤 스케일링 및 수평 플립과 같은 데이터 증강 기법을 활용하여 성능을 향상시킨다.
• HRNet을 백본으로 사용하여 검출된 바운딩 박스를 입력으로 활용하는 쿠파 기반 훈련 방식을 적용한 단순한 인스턴스 수준 세그멘테이션 파이프라인을 설계한다.
• 다양한 백본 및 헤드를 사용한 28개의 글로벌 모델과 3+2개의 전문가 모델 간 투표 기반 앙상블 전략을 활용하여 예측을 융합한다.

실험 결과

연구 질문

• RQ1 모델 복잡도 증가 없이도 작업별 특징 추출을 위한 학습 가능한 오프셋을 통해 공유 검출 헤드 내의 공간적 불일치 문제를 완화할 수 있는가?
• RQ2 학습 가능한 오프셋을 통한 분류 및 회귀 특징 분리가 OpenImages와 같은 대규모 데이터셋에서 검출 mAP에 어떤 영향을 미치는가?
• RQ3 adj-NMS 및 앙상블 전략은 아키텍처적 개선을 넘어서 검출 및 세그멘테이션 성능 향상에 어느 정도 기여하는가?
• RQ4 고품질 객체 검출 출력에서 초기화된 단순한 엔드 투 엔드 인스턴스 세그멘테이션 파이프라인이 최고 수준의 성능을 달성할 수 있는가?
• RQ5 다양한 스케일 훈련, 데이터 증강, 동기화 배치 정규화는 일반화 및 최종 랭킹 성능 향상에 어떤 기여를 하는가?

주요 결과

• Decoupling Head (DH)는 작업별 특징을 학습함으로써 공유 헤드 내에서 발생하는 분류 및 회귀 간 본질적 갈등을 해결하여 검출 성능을 크게 향상시켰다.
• adj-NMS는 표준 소프트-NMS에 비해 안정적인 성능 향상을 가져왔으며, 특히 가짜 양성 예측를 감소시키고 국소화 정밀도를 향상시키는 데 기여했다.
• 최종 검출 모델은 공개 테스트 세트에서 68% mAP를 기록했고, 최고의 비공개 랭킹 점수는 67% mAP를 초과하여 강력한 일반화 능력을 입증했다.
• HRNet 기반 및 검출된 바운딩 박스를 입력으로 사용한 인스턴스 세그멘테이션 파이프라인은 공개 랭킹에서 55.39% mAP를 기록했으며, 앙상블 모델은 동일한 55.39% mAP를 달성했다.
• 28개의 글로벌 모델과 전문가 모델의 앙상블은 투표 기반 융합을 통해 검출 및 세그멘테이션 트랙 양쪽에서 최고의 성능을 기록했다.
• 다양한 입력 스케일과 데이터 증강 전략(예: 랜덤 스케일링, 플립)을 사용한 훈련은 특히 세그멘테이션 트랙에서 성능 안정성과 mAP 향상에 기여했다.