[논문 리뷰] Shape-aware Feature Extraction for Instance Segmentation.

Hao Ding, Siyuan Qiao외 2명|arXiv (Cornell University)|2019. 11. 25.

Advanced Neural Network Applications참고 문헌 35인용 수 4

한 줄 요약

이 논문은 예측된 마스크 형상에 따라 특징을 정렬함으로써 박스 형상이 아닌 형상 인식된 RoI 특징을 추출하는 새로운 전략인 Shape-aware RoIAlign를 제안한다. 이는 혼잡한 장면에서의 인스턴스 세그멘테이션 성능을 향상시킨다. 이 방법은 COCO에서 표준 Mask R-CNN을 여러 백본 아키텍처에서 뛰어넘는 성능 향상을 이룬다.

ABSTRACT

Modern instance segmentation approaches mainly adopt a sequential paradigm - ``detect then segment'', as popularized by Mask R-CNN, which have achieved considerable progress. However, they usually struggle to segment huddled instances, i.e., instances which are crowded together. The essential reason is the detection step is only learned under box-level supervision. Without the guidance from the mask-level supervision, the features extracted from the regions containing huddled instances are noisy and ambiguous, which makes the detection problem ill-posed. To address this issue, we propose a new region-of-interest (RoI) feature extraction strategy, named Shape-aware RoIAlign, which focuses feature extraction within a region aligned well with the shape of the instance-of-interest rather than a rectangular RoI. We instantiate Shape-aware RoIAlign by introducing a novel refining module built upon Mask R-CNN, which takes the mask predicted by Mask R-CNN as the region to guide the computation of Shape-aware RoIAlign. Based on the RoI features re-computed by Shape-aware RoIAlign, the refining module updates the bounding box as well as the mask predicted by Mask R-CNN. Experimental results show that the refining module equipped with Shape-aware RoIAlign achieves consistent and remarkable improvements than Mask R-CNN models with different backbones, respectively, on the challenging COCO dataset. The code will be released.

연구 동기 및 목표

• 중첩된 객체로 인해 성능이 저하되는 혼잡한 장면에서 인스턴스 세그멘테이션을 수행하는 과제를 해결한다.
• 검출 헤드에서 박스 수준의 감독이 제한되어 혼잡한 영역에서 노이즈가 많고 모호한 특징이 발생하는 문제를 해결한다.
• RoI 특징 추출 중 마스크 수준의 감독을 활용하여 중첩된 인스턴스가 있는 영역의 특징 품질을 향상시킨다.
• 예측된 마스크를 사용해 공간 정렬을 안내하고 RoI 특징을 재계산하는 보완 모듈을 개발하여 더 나은 경계 상자 및 마스크 예측을 유도한다.

제안 방법

• 예측된 인스턴스 마스크를 형상 인식된 관심 영역으로 사용하는 수정된 RoI 정렬 전략인 Shape-aware RoIAlign을 제안한다. 이는 고정된 직사각형 RoI 대신 사용한다.
• 초기 마스크 예측을 Mask R-CNN에서 얻은 공간 가이드를 사용해 Shape-aware RoIAlign을 통해 RoI 특징을 재계산하는 보완 모듈을 설계한다.
• 개선된 RoI 특징을 사용해 경계 상자 및 마스크 예측을 업데이트함으로써 국소화 및 세그멘테이션 정확도를 향상시킨다.
• 엔드 투 엔드 훈련이 가능한 방식으로 보완 모듈을 Mask R-CNN 프레임워크에 통합하여 특징 추출 중 마스크 수준의 감독을 학습할 수 있도록 한다.
• 예측된 마스크를 공간 마스크로 사용해 실제 인스턴스 형상에 국한하여 특징 샘플링을 제한함으로써 이웃 객체의 간섭을 줄인다.

실험 결과

연구 질문

• RQ1 박스 수준의 감독이 실패하는 혼잡한 영역에서 마스크 수준의 감독이 특징 품질을 향상시킬 수 있는가?
• RQ2 직사각형 상자 대신 예측된 인스턴스 형상에 따라 RoI 특징을 정렬하면 더 나은 세그멘테이션 성능를 달성할 수 있는가?
• RQ3 Shape-aware RoIAlign 기반의 보완 모듈이 다양한 백본 아키텍처에서 인스턴스 세그멘테이션 벤치마크에서 일관되게 성능 향상을 이룰 수 있는가?
• RQ4 Shape-aware RoIAlign는 표준 RoIAlign과 비교해 중첩되거나 뭉쳐진 인스턴스를 다룰 때 어떻게 성능이 뛰어나게 되는가?

주요 결과

• Shape-aware RoIAlign는 COCO 데이터셋에서 다양한 백본 아키텍처에서 표준 Mask R-CNN보다 일관되고 뚜렷한 성능 향상을 달성한다.
• Shape-aware RoIAlign를 사용한 보완 모듈은 특히 중첩된 인스턴스가 많은 혼잡한 장면에서 경계 상자 및 마스크 예측 정확도를 모두 향상시킨다.
• 특징 추출 중 실제 인스턴스 형상에 집중함으로써 중첩 영역에서의 노이즈가 많고 모호한 특징을 효과적으로 줄인다.
• 성능 향상은 정량적으로 측정 가능하며, COCO에서 보고된 개선 사항이 있지만 제공된 텍스트에는 정확한 mAP 값은 기재되어 있지 않다.