[논문 리뷰] InstaBoost: Boosting Instance Segmentation via Probability Map Guided Copy-Pasting

Hao-Shu Fang, Jianhua Sun외 4명|arXiv (Cornell University)|2019. 08. 21.

Advanced Neural Network Applications참고 문헌 38인용 수 26

한 줄 요약

이 논문은 인스턴스 세그멘테이션을 위한 단순하면서도 효과적인 데이터 증강 방법인 InstaBoost를 제안한다. 이 방법은 확률 맵을 기반으로 한 복사-붙여넣기 기반으로 성능을 향상시킨다. 외관 일관성 히트맵을 활용해 현실적인 객체 배치를 유도하고, 임의의 조정을 적용함으로써 네트워크 아키텍처를 변경하지 않거나 추론 비용을 증가시키지 않고 COCO에서 2.2 mAP, Pascal VOC에서 3.9 mAP 향상을 이룬다.

ABSTRACT

Instance segmentation requires a large number of training samples to achieve satisfactory performance and benefits from proper data augmentation. To enlarge the training set and increase the diversity, previous methods have investigated using data annotation from other domain (e.g. bbox, point) in a weakly supervised mechanism. In this paper, we present a simple, efficient and effective method to augment the training set using the existing instance mask annotations. Exploiting the pixel redundancy of the background, we are able to improve the performance of Mask R-CNN for 1.7 mAP on COCO dataset and 3.3 mAP on Pascal VOC dataset by simply introducing random jittering to objects. Furthermore, we propose a location probability map based approach to explore the feasible locations that objects can be placed based on local appearance similarity. With the guidance of such map, we boost the performance of R101-Mask R-CNN on instance segmentation from 35.7 mAP to 37.9 mAP without modifying the backbone or network structure. Our method is simple to implement and does not increase the computational complexity. It can be integrated into the training pipeline of any instance segmentation model without affecting the training and inference efficiency. Our code and models have been released at https://github.com/GothicAi/InstaBoost

연구 동기 및 목표

• 인스턴스 세그멘테이션에서 애초에 제한된 레이블이 부여된 학습 데이터 문제를 해결하기 위해 데이터 증강 전략을 향상시키는 것.
• 기존의 인스턴스 마스크 레이블을 효과적으로 활용하여 다양한 현실적인 학습 샘플을 생성하는 방법을 개발하는 것.
• 백본 또는 네트워크 아키텍처를 수정하지 않고도 오버피팅을 줄이고 일반화 성능을 향상시키는 것.
• 기존 학습 파이프라인에 쉽게 통합될 수 있는 경량이며 효율적인 증강 기법을 설계하는 것.

제안 방법

• 스케일과 회전에 대해 작은 무작위 조정을 가미한 원래 위치 근처에 객체를 복사-붙여넣기하는 무작위 InstaBoost를 제안한다.
• 지역 윤곽 유사성과 배경의 반복성을 기반으로 가능한 객체 배치 위치를 모델링하는 외관 일관성 히트맵을 도입한다.
• 히트맵을 사용해 복사-붙여넣기 위치를 샘플링하고 유도함으로써 공간적 및 시각적 타당성을 확보한다.
• 모델 아키텍처를 수정하지 않거나 추론 시간을 증가시키지 않고 학습 중에 증강을 적용한다.
• 이동, 스케일, 회전, 종횡비를 포함한 4차원 변환 공간을 사용하여 조정을 수행하며, 항등 변환 주변에서 균일하게 샘플링한다.
• 지역 윤곽 유사성을 사용하여 외관 일관성 히트맵을 구성함으로써 객체를 붙일 수 있는 영역을 식별한다.

실험 결과

연구 질문

• RQ1 모델 아키텍처를 변경하지 않고 복사된 인스턴스에 대한 임의의 조정이 인스턴스 세그멘테이션 성능 향상에 기여할 수 있는가?
• RQ2 외관 일관성에 기반한 학습된 확률 맵이 복사-붙여넣기 증강의 현실성과 효과성을 향상시킬 수 있는가?
• RQ3 히트맵 기반 유도가 무작위 붙여넣기 및 맥락 기반 모델에 비해 mAP와 학습 효율성 측면에서 우월한가?
• RQ4 InstaBoost가 인스턴스 세그멘테이션 모델의 오버피팅을 어느 정도 완화하는가?

주요 결과

• Res-101-FPN Mask R-CNN를 사용한 COCO 인스턴스 세그멘테이션에서 InstaBoost는 2.2 mAP 향상을 기록하여 성능을 35.7 mAP에서 37.9 mAP로 향상시켰다.
• Pascal VOC에서는 mAP가 3.9 포인트 향상되어 기준선의 38.88에서 42.73로 상승했다.
• 외관 일관성 히트맵 기반 유도 방법은 VOC에서 무작위 붙여넣기보다 1.3 mAP, COCO에서는 1.1 mAP 높은 성능을 기록하여 공간적 유도의 중요성을 확인했다.
• 이 방법은 오버피팅을 감소시켰다: InstaBoost를 사용할 경우 24 에포크 이후에도 검출 및 세그멘테이션 mAP가 계속 향상되었으며, 기준선과는 달리 그러한 경향을 보였다.
• 추론 속도는 유지되었으며, COCO에서의 훈련 시간은 1.71s/iter로 기준선의 1.68s/iter와 유사했다.
• 민감도 분석 결과 스케일 비율이 이동 비율보다 더 중요하며, 최적의 값은 각각 0.8–1.2 및 1/15로 설정되었다.