[논문 리뷰] Look Closer to Segment Better: Boundary Patch Refinement for Instance Segmentation

Chufeng Tang, Hang Chen외 4명|arXiv (Cornell University)|2021. 04. 12.

Advanced Neural Network Applications인용 수 5

한 줄 요약

이 논문은 경계 패치 정밀화(Boundary Patch Refinement, BPR)를 제안하며, 예측된 인스턴스 경계에 따라 잘라낸 소형 고해상도 패치들을 정밀화하는 후처리 프레임워크이다. 이는 국소화된 패치에 전용 정밀화 네트워크를 적용하여 마스크 경계의 품질을 향상시키며, Mask R-CNN 대비 Cityscapes에서 +4.3% AP 향상을 달성하고, PolyTransform + SegFix와 결합했을 때 SOTA 성능(42.7% AP)을 달성한다.

ABSTRACT

Tremendous efforts have been made on instance segmentation but the mask quality is still not satisfactory. The boundaries of predicted instance masks are usually imprecise due to the low spatial resolution of feature maps and the imbalance problem caused by the extremely low proportion of boundary pixels. To address these issues, we propose a conceptually simple yet effective post-processing refinement framework to improve the boundary quality based on the results of any instance segmentation model, termed BPR. Following the idea of looking closer to segment boundaries better, we extract and refine a series of small boundary patches along the predicted instance boundaries. The refinement is accomplished by a boundary patch refinement network at higher resolution. The proposed BPR framework yields significant improvements over the Mask R-CNN baseline on Cityscapes benchmark, especially on the boundary-aware metrics. Moreover, by applying the BPR framework to the PolyTransform + SegFix baseline, we reached 1st place on the Cityscapes leaderboard.

연구 동기 및 목표

• 작은 객체 및 세밀한 디테일에 대해 지속적으로 발생하는 세그멘테이션 경계의 부정확성 문제를 해결한다.
• 저해상도 특징 맵과 클래스 불균형으로 인한 제약을 극복하며, 경계 픽셀이 부족하게 표현되고 잘 최적화되지 않는 문제를 해결한다.
• 재학습이나 아키텍처 변경 없이도 기존 인스턴스 세그멘테이션 모델에 즉각 통합 가능한 플러그 앤 플레이 후처리 솔루션을 개발한다.
• 인간의 애너테이션 행동을 모방하기 위해 국소적 고해상도 경계 분석에 집중하여 마스크 정밀도를 향상시킨다.
• 백본 모델을 수정하지 않고도 Cityscapes 벤치마크에서 최신 기술 수준의 성능을 달성하기 위해 효과적인 경계 정밀화를 수행한다.

제안 방법

• 기본 세그멘테이션 모델에서 각 인스턴스 마스크의 예측 경계 중심에 위치한 소형 고해상도 이미지 패치를 추출한다.
• 각 경계 패치를 해당 마스크 패치와 연결하여 정밀화에 사용할 다중 채널 입력을 구성한다.
• 고해상도 정밀화 네트워크(HRNetV2-W48 등)를 적용하여 각 경계 패치에서 이진 세그멘테이션을 수행해 마스크 경계를 정밀화한다.
• 공간 정렬 및 비최대 억제(NMS)를 사용하여 정밀화된 패치들을 재조합하여 완전하고 고품질의 인스턴스 마스크를 생성한다.
• 다중 해상도 입력 전략을 적용하여 패치를 64×64에서 256×256로 리사이징하여 정밀한 디테일을 유지한다.
• 추론 중에 0.55의 임계값을 사용한 NMS를 적용하여 겹치는 예측을 억제하고 경계의 연속성을 향상시킨다.

실험 결과

연구 질문

• RQ1 기본 모델을 수정하지 않고 국소 경계 패치를 정밀화하는 후처리 프레임워크가 인스턴스 세그멘테이션 경계 품질을 크게 향상시킬 수 있는가?
• RQ2 고해상도 패치 정밀화가 인스턴스 세그멘테이션에서 저해상도 특징 맵의 영향을 어느 정도 완화할 수 있는가?
• RQ3 국소 패치 내 경계 픽셀의 상대적 비율을 증가시킴으로써 최적화 편향을 완화하고 세그멘테이션 정확도를 향상시킬 수 있는가?
• RQ4 제안된 방법이 다양한 인스턴스 세그멘테이션 베이스라인에 일반화되어 표준 벤치마크에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ5 더 높은 품질의 애너테이션을 사용할 경우, 이 프레임워크는 COCO와 같이 도전적인 데이터셋에서 어떻게 성능을 발휘하는가?

주요 결과

• BPR는 Mask R-CNN ResNeXt-FPN-101 베이스라인 대비 Cityscapes 검증 및 테스트 세트에서 각각 +4.3%의 AP 향상을 달성했다.
• PolyTransform + SegFix 베이스라인에 적용했을 때, BPR는 Cityscapes 테스트 세트에서 추가로 2.3% AP 향상을 기록했으며, 원래 PolyTransform + SegFix 설정을 초월하는 성능을 보였다.
• PolyTransform + BPR 조합은 Cityscapes 테스트에서 42.7% AP를 달성했으며, CVPR 2021 제출 마감 시점 기준으로 Cityscapes 랭킹 1위를 확보했다.
• COCO 데이터셋에서는 BPR이 Mask R-CNN ResNeXt-FPN-101 베이스라인을 0.8% AP 향상시켰으며, 더 높은 품질의 LVIS 애너테이션을 사용할 경우 1.7% AP⋆ 향상으로 복잡한 데이터셋에 대한 일반화 능력을 입증했다.
• 이 프레임워크는 효율적이며, 단일 RTX 2080Ti GPU에서 1024×2048 크기의 Cityscapes 이미지를 약 211ms 내로 처리하여 이전 방법들(예: PolyTransform)보다 훨씬 빠르게 동작한다.
• 정성적 결과에서는 BPR이 과도한 부드러움을 효과적으로 줄이고, 특히 작은 객체나 복잡한 객체 주변에서 더 날카롭고 정밀한 경계를 생성함을 확인할 수 있었다.