[논문 리뷰] SOLOv2: Dynamic, Faster and Stronger.

Xinlong Wang, Rufeng Zhang외 3명|arXiv (Cornell University)|2020. 03. 23.

Advanced Neural Network Applications인용 수 88

한 줄 요약

SOLOv2는 마스크 헤드를 학습 가능한 커널과 특징 브랜치로 분리하여 위치 조건에 맞는 마스크 예측을 가능하게 함으로써 동적이고 빠르며 정확한 인스턴스 세그멘테이션 프레임워크를 제안한다. 하나의 스텝에서 병렬적으로 작동하는 비최대 억제(Non-Maximum Suppression, NMS) 방법인 Matrix NMS를 도입하여 추론 속도 31.3 FPS, COCO에서의 AP 37.1%를 달성하였으며, 이는 이전 방법 대비 속도-정확도 트레이드오프에서 뛰어난 성능을 보였다.

ABSTRACT

In this work, we aim at building a simple, direct, and fast instance segmentation framework with strong performance. We follow the principle of the SOLO method of Wang et al. SOLO: segmenting objects by locations. Importantly, we take one step further by dynamically learning the mask head of the object segmenter such that the mask head is conditioned on the location. Specifically, the mask branch is decoupled into a mask kernel branch and mask feature branch, which are responsible for learning the convolution kernel and the convolved features respectively. Moreover, we propose Matrix NMS (non maximum suppression) to significantly reduce the inference time overhead due to NMS of masks. Our Matrix NMS performs NMS with parallel matrix operations in one shot, and yields better results. We demonstrate a simple direct instance segmentation system, outperforming a few state-of-the-art methods in both speed and accuracy. A light-weight version of SOLOv2 executes at 31.3 FPS and yields 37.1% AP. Moreover, our state-of-the-art results in object detection (from our mask byproduct) and panoptic segmentation show the potential to serve as a new strong baseline for many instance-level recognition tasks besides instance segmentation. Code is available at: this https URL

연구 동기 및 목표

• 강력한 성능을 보이는 단순하고 직접적이며 빠른 인스턴스 세그멘테이션 프레임워크를 개발하는 것.
• 객체 위치에 따라 마스크 헤드를 동적으로 조절하여 마스크 예측을 향상시키는 것.
• 마스크 예측에서 비최대 억제(NMS)의 추론 시간 오버헤드를 줄이는 것.
• 감지 및 페노틱 세그멘테이션을 포함한 다양한 인스턴스 수준 인식 작업에 대해 새로운 강력한 베이스라인을 설정하는 것.

제안 방법

• 마스크 헤드를 마스크 커널 브랜치와 마스크 특징 브랜치로 분해하여 위치 인식 마스크 예측을 가능하게 한다.
• 컨볼루션 커널과 특징 맵을 별도로 학습함으로써 객체 위치에 따라 동적으로 적응할 수 있도록 한다.
• 한 번의 스텝에서 병렬적으로 작동하는 매트릭스 연산 기반의 NMS 방법인 Matrix NMS를 도입하여 추론 속도를 향상시킨다.
• 공유된 특징을 활용하여 동일한 아키텍처를 감지 및 페노틱 세그멘테이션에 응용함으로써 부가적인 성능 향상을 이룬다.
• 복잡한 헤드 설계나 후처리 없이 단순한 엔드 투 엔드 학습 파라다임을 사용한다.

실험 결과

연구 질문

• RQ1 단순하고 직접적인 인스턴스 세그멘테이션 프레임워크가 속도와 정확도 측면에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ2 마스크 예측을 어떻게 동적 헤드 학습을 통해 객체 위치에 더 적응적으로 만들 수 있는가?
• RQ3 검출 정확도를 손상시키지 않고 NMS의 추론 시간 오버헤드를 크게 줄일 수 있는가?
• RQ4 동일한 아키텍처가 다양한 인스턴스 수준 인식 작업에 대해 강력한 베이스라인으로 기능할 수 있는가?

주요 결과

• SOLOv2는 경량 버전으로 COCO 인스턴스 세그멘테이션에서 37.1% AP를 달성하며 31.3 FPS로 실행된다.
• Matrix NMS는 하나의 스텝에서 병렬적인 매트릭스 연산을 통해 NMS 추론 시간 오버헤드를 줄인다.
• 분리된 마스크 헤드 설계는 위치 조건에 맞는 예측을 가능하게 하여 마스크 품질을 향상시킨다.
• 동일한 아키텍처를 사용하여 감지 및 페노틱 세그멘테이션에서 최신 기술 수준의 성능을 달성한다.