[논문 리뷰] Mask Point R-CNN.

Wenchao Zhang, Chong Fu외 1명|arXiv (Cornell University)|2020. 08. 02.

Advanced Neural Network Applications참고 문헌 31인용 수 3

한 줄 요약

이 논문은 객체 윤곽선에 대한 네트워크의 주의를 이끌기 위해 키포인트 기반 보조 과제를 도입함으로써 에지 검출을 향상시키는 개선된 인스턴스 세그멘테이션 모델인 Mask Point R-CNN을 제안한다. 키포인트 검출에서 유도된 특징을 Mask R-CNN과 다중 과제 학습을 통해 융합함으로써, 계산 비용을 최소화하면서 성능을 향상시켰으며, Cityscapes 검증 세트와 테스트 세트에서 각각 5.4% 및 5.0%의 mAP 향상을 달성하였다.

ABSTRACT

The attributes of object contours has great significance for instance segmentation task. However, most of the current popular deep neural networks do not pay much attention to the target edge information. Inspired by the human annotation process when making instance segmentation datasets, in this paper, we propose Mask Point RCNN aiming at promoting the neural networks attention to the target edge information, which can heighten the information propagates between multiple tasks by using different attributes features. Specifically, we present an auxiliary task to Mask RCNN, including utilizing keypoint detection technology to construct the target edge contour, and enhancing the sensitivity of the network to the object edge through multi task learning and feature fusion. These improvements are easy to implement and have a small amount of additional computing overhead. By extensive evaluations on the Cityscapes dataset, the results show that our approach outperforms vanilla Mask RCNN by 5.4% on the validation subset and 5.0% on the test subset.

연구 동기 및 목표

• 신경망의 객체 윤곽선 세부 정보에 대한 주의를 향상시켜 인스턴스 세그멘테이션 성능을 향상시키기 위해.
• 기존 모델이 훈련 중 정밀한 에지 정보를 효과적으로 활용하지 못하는 한계를 해결하기 위해.
• 다양한 과제 간의 특징 전파를 촉진하는 경량이면서 효과적인 보조 과제를 도입하기 위해.
• 계산 비용을 크게 증가시키지 않으면서도 세그멘테이션 정확도를 향상시키기 위해.
• 인간의 애너테이션 관행을 모방하기 위해 딥 네트워크 내에서 객체 경계 속성을 명시적으로 모델링하기 위해.

제안 방법

• 객체 윤곽선 점을 명시적으로 모델링하기 위해 보조 키포인트 검출 과제를 도입한다.
• 키포인트 예측을 활용해 훈련 중 네트워크의 집중을 객체 에지로 이동시킨다.
• 다중 과제 학습을 통해 키포인트 헤드에서 유도된 특징을 마스크 헤드와 융합한다.
• 검출, 세그멘테이션, 키포인트 예측 간의 교차 과제 정보 흐름을 가능하게 하기 위해 공유 백본 특징을 활용한다.
• 특징 융합 전략을 적용하여 에지 인식 특징 학습을 향상시킨다.
• 최소한의 아키텍처 수정으로 표준 Mask R-CNN 아키텍처와 호환성을 유지한다.

실험 결과

연구 질문

• RQ1 키포인트 기반 보조 과제를 도입하면 인스턴스 세그멘테이션 성능이 향상되는가?
• RQ2 객체 윤곽선을 명시적으로 모델링하면 인스턴스 세그멘테이션의 특징 학습에 어떤 영향을 미치는가?
• RQ3 키포인트 감독을 통한 다중 과제 학습이 에지 검출 및 세그멘테이션 정확도 향상에 얼마나 기여하는가?
• RQ4 Mask R-CNN에 윤곽 모델링을 통합할 경우 계산 비용은 얼마나 되는가?
• RQ5 제안된 방법이 다양한 인스턴스 세그멘테이션 벤치마크에 일반화되는가?

주요 결과

• 제안된 Mask Point R-CNN는 Cityscapes 검증 세트에서 기존 Mask R-CNN 대비 5.4%의 절대 mAP 향상을 달성하였다.
• Cityscapes 테스트 세트에서 이는 기준 모델인 Mask R-CNN 대비 5.0%의 mAP 향상이다.
• 성능 향상은 계산 비용의 약간의 증가로 이루어져, 이로 인해 효율적인 방법이 되었다.
• 보조 키포인트 과제가 네트워크의 객체 경계 세부 정보에 대한 민감도를 효과적으로 향상시켰다.
• 키포인트 헤드와 마스크 헤드 간의 특징 융합을 통해 에지 인식 특징이 과제 간에 더 잘 전파되었다.
• 명시적인 윤곽 속성 모델링을 통해 인간의 애너테이션 행동을 성공적으로 모방하였다.