[논문 리뷰] PolarMask: Single Shot Instance Segmentation with Polar Representation

Enze Xie, Peize Sun외 5명|arXiv (Cornell University)|2019. 09. 29.

Advanced Neural Network Applications참고 문헌 34인용 수 59

한 줄 요약

PolarMask은 싱글샷, 앵커 박스 없는 인스턴스 분할 방법으로, 마스크를 극좌표의 등고선으로 모델링하고, 인스턴스 중심 분류와 밀집 거리 회귀를 사용하며, Polar IoU Loss와 Polar Centerness로 정확도를 향상시킵니다.

ABSTRACT

In this paper, we introduce an anchor-box free and single shot instance segmentation method, which is conceptually simple, fully convolutional and can be used as a mask prediction module for instance segmentation, by easily embedding it into most off-the-shelf detection methods. Our method, termed PolarMask, formulates the instance segmentation problem as instance center classification and dense distance regression in a polar coordinate. Moreover, we propose two effective approaches to deal with sampling high-quality center examples and optimization for dense distance regression, respectively, which can significantly improve the performance and simplify the training process. Without any bells and whistles, PolarMask achieves 32.9% in mask mAP with single-model and single-scale training/testing on challenging COCO dataset. For the first time, we demonstrate a much simpler and flexible instance segmentation framework achieving competitive accuracy. We hope that the proposed PolarMask framework can serve as a fundamental and strong baseline for single shot instance segmentation tasks. Code is available at: github.com/xieenze/PolarMask.

연구 동기 및 목표

• 더 간단한 단일 샷 프레임워크를 통한 앵커 박스 없는 인스턴스 분할의 동기 부여.
• 픽셀 단위 접근 방식에 비해 복잡성을 줄이기 위해 극(contour) 표현으로 마스크를 모델링합니다.
• 극 기하학과 일치하는 학습 목표(중심 분류 및 밀집 거리 회귀) 개발.
• Polar IoU Loss와 Polar Centerness로 학습 안정성과 정확도 향상.
• 간단하고 빠른 추론으로 COCO에서 더 복잡한 방법과 경쟁력 있는 결과를 보여줍니다.

제안 방법

• 각 객체 마스크를 컨투어에 대한 중심과 N개의 광선(극 좌표)으로 표현합니다.
• 샘플링된 중심에서 중심 물체성(분류)과 밀집 광선 길이(거리 회귀)를 예측합니다.
• 박스 중심보다 질량 중심을 선호하는 중심 샘플링으로 커버리지를 개선합니다.
• Polar Centerness를 도입하여 광선 길이의 균형에 따라 중심 샘플의 가중치를 부여합니다.
• Polar IoU Loss를 정의하여 극 도메인에서 마스크 IoU를 위한 전체 광선 회귀를 최적화합니다.
• Polar 광선 길이를 등고선 점으로 변환하고 예측 마스크에 대해 NMS를 수행하여 마스크를 구성합니다.

실험 결과

연구 질문

• RQ1 단일 샷, 앵커 박스 없는 모델이 중심에서 극(contour) 반지름을 예측함으로써 경쟁력 있는 인스턴스 분할을 달성할 수 있는가?
• RQ2 Polar IoU Loss와 Polar Centerness가 극 표현 프레임워크에서 학습 안정성과 마스크 정확도를 향상시키는가?
• RQ3 질량 중심 기반 샘플링이 신뢰할 수 있는 마스크 예측에 있어 박스 중심 샘플링보다 우수한가?
• RQ4 표준 학습/테스트에서 COCO에 대해 PolarMask가 기존의 단일 스테이지 및 2단계 방법과 어떻게 비교되는가?
• RQ5 광선 수와 백본(backbone)이 분할 성능과 속도에 미치는 영향은 무엇인가?

주요 결과

• PolarMask는 COCO에서 ResNet-101-FPN을 사용한 단일 모델, 단일 스케일 학습/테스트로 32.9% 마스크 AP를 달성합니다.
• 광선 수를 늘리면 상한선 마스크 IoU가 포화에 도달할 때까지 향상되며, 예를 들어 더 많은 광선이 약 72광선 전후에서 AP가 상승하다가 증가가 둔화됩니다.
• Polar IoU Loss는 밀집 광선 회귀에 대해 Smooth L1보다 우수하며, 제거 실험에서 AP를 약 2.6포인트 향상시킵니다.
• Polar Centerness는 특히 IoU 75 시점의 AP 및 대형 인스턴스(AP_L)에서 의미 있는 이득을 제공합니다.
• 질량 중심을 중심 샘플로 사용하는 것이 마스크 예측에 더 효과적이며, 박스 분기(branch)는 마스크 성능에 큰 기여를 하지 못합니다.
• ResNeXt-101-FPN-DCN과 같은 백본으로 최적 구성은 COCO 테스트-dev에서 최대 36.2 AP(24에폭 학습) 및 최대 59.4 AP50까지 달성하며, 텐서 기반 대안보다 빠른 속도를 유지합니다.