[논문 리뷰] Boundary-preserving Mask R-CNN

Tianheng Cheng, Xinggang Wang외 2명|arXiv (Cornell University)|2020. 07. 17.

Advanced Neural Network Applications참고 문헌 54인용 수 12

한 줄 요약

이 논문은 통합 마스크 헤드 내에서 특징 융합 블록을 통해 객체 경계와 마스크를 동시에 학습함으로써 마스크 정위치 정확도를 향상시키는 새로운 인스턴스 세그멘테이션 프레임워크인 경계 보존형 마스크 R-CNN(BMask R-CNN)을 제안한다. 추가적인 기능을 추가하지 않고도 COCO에서 마스크 R-CNN 대비 1.7% AP 향상, Cityscapes에서 2.2% 향상되었으며, 더 엄격한 IoU 임계값 조건 하에서 더 큰 향상이 관찰되었다.

ABSTRACT

Tremendous efforts have been made to improve mask localization accuracy in instance segmentation. Modern instance segmentation methods relying on fully convolutional networks perform pixel-wise classification, which ignores object boundaries and shapes, leading coarse and indistinct mask prediction results and imprecise localization. To remedy these problems, we propose a conceptually simple yet effective Boundary-preserving Mask R-CNN (BMask R-CNN) to leverage object boundary information to improve mask localization accuracy. BMask R-CNN contains a boundary-preserving mask head in which object boundary and mask are mutually learned via feature fusion blocks. As a result, the predicted masks are better aligned with object boundaries. Without bells and whistles, BMask R-CNN outperforms Mask R-CNN by a considerable margin on the COCO dataset; in the Cityscapes dataset, there are more accurate boundary groundtruths available, so that BMask R-CNN obtains remarkable improvements over Mask R-CNN. Besides, it is not surprising to observe that BMask R-CNN obtains more obvious improvement when the evaluation criterion requires better localization (e.g., AP$_{75}$) as shown in Fig.1. Code and models are available at \url{https://github.com/hustvl/BMaskR-CNN}.

연구 동기 및 목표

• 마스크 R-CNN에서 객체 경계와 형태를 忽시함으로써 발생하는粗모양의, 정밀도가 떨어지는 마스크 예측 문제를 해결하기 위해.
• 마스크 예측 과정에서 경계 정보를 명시적으로 활용하여 마스크 정위치 정확도를 향상시키기 위해.
• 특징 융합을 통해 마스크와 경계를 동시에 학습하는 통합 네트워크를 설계하여 경계 정렬을 향상시키기 위해.
• 경계 감독의 영향을 분석하여, 특히 높은 IoU 임계값 조건 하에서 마스크 품질에 미치는 영향을 조사하기 위해.
• 기존 마스크 R-CNN 프레임워크에 쉽게 통합할 수 있는 단순하면서도 효과적인 베이스라인을 제공하기 위해.

제안 방법

• 표준 마스크 헤드를 대체하여 마스크와 경계를 동시에 예측하는 경계 보존형 마스크 헤드를 도입한다.
• 경계 예측 및 마스크 예측 브랜치 간의 이방향 특징 상호작용을 가능하게 하기 위해 두 개의 특징 융합 블록을 도입한다.
• 클래스 불균형과 희소한 애너테이션 문제를 해결하기 위해 이진 교차 엔트로피 손실과 딱지 손실의 조합된 손실 함수를 사용하여 경계 예측을 최적화한다.
• 비교 실험을 위해, 예측된 마스크에 소벨 연산자를 적용하여 경계 특징을 생성하는 소벨 마스크 헤드를 설계한 아블레이션 변종으로 제안한다.
• COCO와 Cityscapes에서 ResNet-50-FPN 및 ResNet-101-FPN 백본을 사용하여 표준 훈련 프rotocols에 따라 엔드 투 엔드로 모델을 훈련시킨다.
• 경계 특징에서 유도된 형태 및 정위치 정보를 활용하여 마스크 예측을 보완함으로써, 정답 마스크와의 정렬을 향상시킨다.

실험 결과

연구 질문

• RQ1 명시적인 경계 감독이 인스턴스 세그멘테이션에서 마스크 정위치 정확도를 향상시킬 수 있는가?
• RQ2 특징 융합을 통한 마스크와 경계의 동시 학습이 마스크 품질과 경계 정밀도에 어떤 영향을 미치는가?
• RQ3 BMask R-CNN의 성능 향상은 더 높은 IoU 임계값 조건에서 증가하는가? 이는 더 나은 정위치 정확도를 의미하는가?
• RQ4 경계 손실 선택(BCE + 딱지)이 훈련 안정성과 경계 예측 품질에 어떤 영향을 미치는가?
• RQ5 단순한 소벨 기반 경계 헤드가 전용 경계 브랜치의 효과적인 대안이 될 수 있는가?

주요 결과

• BMask R-CNN는 COCO 검증 세트에서 마스크 R-CNN 대비 1.7%의 절대 AP 향상을 기록했으며, 다양한 백본에서 일관된 향상이 관찰되었다.
• Cityscapes 테스트 세트에서 BMask R-CNN는 마스크 R-CNN 대비 2.2%의 AP 향상을 기록하여 고품질 애너테이션에서 뛰어난 성능을 보였다.
• 더 높은 IoU 임계값 조건(예: AP75)에서 더 큰 향상이 관찰되어 정위치 정확도 향상이 확인되었다.
• 소벨 마스크 헤드 변종은 34.0의 AP를 기록하여 마스크 R-CNN 대비 0.8 AP 향상이 있었지만, 주요 방법 대비 0.7 AP 낮은 성능을 보였다.
• 정성적 결과 분석에서 BMask R-CNN는 마스크 간 오버랩이 적고 더 선명하고 명확한 마스크를 생성하며, 마스크 R-CNN보다 더 나은 경계 정렬을 보였다.
• 아블레이션 연구 결과, 특징 융합 블록과 경계 특징이 성능 향상에 크게 기여함을 확인하여 설계 선택의 타당성을 입증하였다.