[논문 리뷰] Mask Scoring R-CNN

Zhaojin Huang, Lichao Huang외 3명|arXiv (Cornell University)|2019. 03. 01.

Machine Learning and Data Classification인용 수 5

한 줄 요약

Mask Scoring R-CNN는 예측 마스크와 진짜 마스크 간의 교차율(Intersection-over-Union, IoU)을 예측하는 새로운 헤드인 MaskIoU 헤드를 제안하여 인스턴스 세그멘테이션 점수를 향상시킨다. 특징에서 직접 마스크 품질을 회귀하고 분류 점수와 조합함으로써, 다양한 백본에서 Mask R-CNN 대비 약 ~1.5%의 일관된 AP 향상을 달성하며, 마스크 점수를 실제 마스크 품질과 일치시킨다.

ABSTRACT

Letting a deep network be aware of the quality of its own predictions is an interesting yet important problem. In the task of instance segmentation, the confidence of instance classification is used as mask quality score in most instance segmentation frameworks. However, the mask quality, quantified as the IoU between the instance mask and its ground truth, is usually not well correlated with classification score. In this paper, we study this problem and propose Mask Scoring R-CNN which contains a network block to learn the quality of the predicted instance masks. The proposed network block takes the instance feature and the corresponding predicted mask together to regress the mask IoU. The mask scoring strategy calibrates the misalignment between mask quality and mask score, and improves instance segmentation performance by prioritizing more accurate mask predictions during COCO AP evaluation. By extensive evaluations on the COCO dataset, Mask Scoring R-CNN brings consistent and noticeable gain with different models, and outperforms the state-of-the-art Mask R-CNN. We hope our simple and effective approach will provide a new direction for improving instance segmentation. The source code of our method is available at \url{https://github.com/zjhuang22/maskscoring_rcnn}.

연구 동기 및 목표

• 인스턴스 세그멘테이션에서 분류 신뢰도와 실제 마스크 품질 간의 불일치를 해결한다.
• 더 정확한 마스크 점수 기반 메커니즘을 학습하여 인스턴스 세그멘테이션 성능을 향상시킨다.
• 학습된 마스크 품질 예측기를 사용해 마스크 점수를 校정하여 실제 진짜 마스크와의 IoU를 더 잘 반영하도록 한다.
• 가설 점수를 개선하여 COCO AP와 같은 평가 지표를 향상시키는 단순하면서도 효과적인 방법을 제공한다.
• 분류와 마스크 품질 추정을 분리함으로써 다양한 백본 네트워크에 대한 더 나은 일반화를 가능하게 한다.

제안 방법

• RoI 특징과 예측 마스크를 입력으로 받아 예측 마스크와 그 진짜 마스크 간의 IoU를 회귀하는 MaskIoU 헤드를 도입한다.
• 각 인스턴스의 진짜 IoU에 대해 단순한 L1 회귀 손실을 사용하여 MaskIoU 헤드를 훈련시킨다.
• 예측된 MaskIoU와 원래의 분류 점수를 조합하여 개선된 마스크 점수를 형성한다: final_score = classification_score × predicted_MaskIoU.
• 백본 또는 검출 헤드를 수정하지 않고 Mask R-CNN 프레임워크에 MaskIoU 헤드를 통합한다.
• 추론의 일관성을 확보하기 위해 SoftNMS를 사용해 제안을 정렬하고 상위 100개를 평가에 사용한다.
• 저 IoU 인스턴스를 포함한 모든 훈련 샘플을 사용해 MaskIoU 헤드를 훈련시켜 일반화 능력과 진짜 마스크와의 상관관계를 향상시킨다.

실험 결과

연구 질문

• RQ1 예측된 마스크 품질 예측기가 마스크 점수를 재가중하는 데 사용될 경우, 인스턴스 세그멘테이션 성능 향상에 기여할 수 있는가?
• RQ2 다양한 백본 네트워크 간에 예측된 MaskIoU와 진짜 마스크 IoU 간의 상관관계는 어떻게 변하는가?
• RQ3 인스턴스 세그멘테이션에서 진짜 마스크 IoU를 상한선으로 사용할 경우의 영향은 무엇인가?
• RQ4 제안된 방법은 다양한 백본 아키텍처와 모델 스케일에서 일관되게 성능 향상을 이끌 수 있는가?
• RQ5 MaskIoU 헤드 추가에 따른 계산 비용은 얼마이며, 실제로는 무시할 수 있는가?

주요 결과

• COCO 2017 검증 세트에서 예측된 IoU와 진짜 마스크 IoU 간 상관계수는 약 ~0.74를 기록하여 강력한 예측 능력을 보였다.
• 저 IoU 인스턴스를 포함한 모든 훈련 샘플을 사용해 MaskIoU 헤드를 훈련시키면, 임계값 기반 샘플링보다 성능이 뛰어나다.
• ResNet-18 FPN을 사용할 경우 Mask R-CNN 대비 Mask Scoring R-CNN가 COCO AP를 1.6% 향상시키며, ResNet-101 DCN+FPN를 사용할 경우 1.4% 향상된다.
• 완벽한 MaskIoU 예측(예측된 IoU를 진짜 마스크 IoU로 대체)의 이상적인 경우, ResNet-18 FPN와 ResNet-101 DCN+FPN에 대해 각각 추가로 2.2점과 2.6점의 AP 향상이 가능하다.
• MaskIoU 헤드의 계산 비용은 극히 낮으며, 제안 당 약 ~0.39G FLOPs만 추가되며, TITAN V에서 추론 속도는 Mask R-CNN와 거의 동일하다.
• 다양한 백본에서 일관되게 성능 향상을 보이며, 아키텍처 변화에 대해 일반화 능력과 강건성을 입증했다.