[논문 리뷰] Pseudo Mask Augmented Object Detection

Xiangyun Zhao, Shuang Liang외 1명|arXiv (Cornell University)|2018. 03. 15.

Advanced Neural Network Applications참고 문헌 36인용 수 5

한 줄 요약

이 논문은 그래프 컷 최적화와 세그멘테이션 브랜치로부터의 톱다운 피드백을 사용하여 경계 박스 애너테이션에서 유도된 가짜 인스턴스 세그멘테이션 마스크를 반복적으로 개선하는 Pseudo-Mask Augmented Detection (PAD)를 제안한다. 이 방법은 ResNet-101을 사용하여 PASCAL VOC 2012에서 SOTA 수준의 mAP 79.5%를 달성하며, 약한 지도 신호를 제공하는 인스턴스 수준의 세그멘테이션 신호가 검출 성능을 크게 향상시킬 수 있음을 보여준다.

ABSTRACT

In this work, we present a novel and effective framework to facilitate object detection with the instance-level segmentation information that is only supervised by bounding box annotation. Starting from the joint object detection and instance segmentation network, we propose to recursively estimate the pseudo ground-truth object masks from the instance-level object segmentation network training, and then enhance the detection network with top-down segmentation feedbacks. The pseudo ground truth mask and network parameters are optimized alternatively to mutually benefit each other. To obtain the promising pseudo masks in each iteration, we embed a graphical inference that incorporates the low-level image appearance consistency and the bounding box annotations to refine the segmentation masks predicted by the segmentation network. Our approach progressively improves the object detection performance by incorporating the detailed pixel-wise information learned from the weakly-supervised segmentation network. Extensive evaluation on the detection task in PASCAL VOC 2007 and 2012 [12] verifies that the proposed approach is effective.

연구 동기 및 목표

• 픽셀 수준의 세그멘테이션 마스크가 필요 없이 경계 박스 애너테이션만을 사용하여 객체 검출 성능을 향상시키는 것.
• 인스턴스 수준의 세그멘테이션 마스크를 레이블링하는 데 드는 높은 비용을 줄이기 위해 약한 지도 신호(경계 박스)로부터 가짜 마스크를 생성하는 것.
• 반복적이고 피드백 기반의 훈련을 통해 검출 및 세그멘테이션 네트워크 간 상호 향상이 이루어지도록 하는 것.
• 공유된 특징 프레임워크 내에서 세그멘테이션 피드백이 어떻게 직접적으로 검출 성능을 향상시킬 수 있는지 탐색하는 것.

제안 방법

• 가짜 마스크 추정과 네트워크 파라미터 업데이트 사이에서 EM 유사 반복 최적화를 수행한다.
• 가짜 마스크는 저수준의 외관 일관성과 진짜 경계 박스 제약 조건을 고려하는 그래프 컷 기반 추론을 통해 반복적으로 개선된다.
• 가짜 마스크 학습을 보조하기 위해 새로운 1D 박스 손실이 도입되어 개선 과정에서 국소화 정확도를 향상시킨다.
• 세그멘테이션 브랜치에서 유도된 톱다운 피드백이 전역 및 인스턴스 수준에서 검출 네트워크에 통합되어 검출 성능을 향상시킨다.
• 검출 및 세그멘테이션 브랜치는 초기 합성곱 레이어를 공유하여 특징 공유를 가능하게 하되, 검출과 마스크 예측을 위한 별도의 헤드를 유지한다.
• 프레임워크는 반복 최적화를 통해 엔드 투 엔드로 훈련되며, 먼저 그래프 컷을 사용해 가짜 마스크를 개선하고, 그 다음에 개선된 마스크를 사용해 네트워크를 업데이트한다.

실험 결과

연구 질문

• RQ1 진짜 세그멘테이션 마스크가 없는 조건에서 경계 박스 애너테이션만을 사용해 객체 검출 성능을 크게 향상시킬 수 있는가?
• RQ2 약한 지도 신호(경계 박스)로부터 가짜 세그멘테이션 마스크를 효과적으로 개선하여 실제 마스크에 가깝게 만들 수 있는가?
• RQ3 약한 지도 설정 하에서 세그멘테이션 피드백이 검출 정확도에 어떤 영향을 미치는가?
• RQ4 1D 박스 손실의 통합이 가짜 마스크 학습 품질을 어떻게 향상시키는가?
• RQ5 가짜 마스크의 반복적 개선이 검출 및 세그멘테이션 성능 향상에 일관되고 측정 가능한 기여를 할 수 있는가?

주요 결과

• PAD는 ResNet-101을 사용하여 PASCAL VOC 2012에서 79.5%의 mAP를 달성하며, 동일한 훈련 프로토콜 하에서 이전의 모든 방법을 능가한다.
• 기본 모델인 Faster R-CNN(VGG-16) 대비 검출 mAP가 5% 이상 향상되어 뚜렷한 성능 향상을 보였다.
• 가짜 마스크의 반복적 개선은 일관된 성능 향상을 이끌어내었으며, SDS 작업에서 mAP b는 첫 번째 반복(52.1%)에서 최종 반복(58.5%)으로 상승하였다.
• 1D 박스 손실과 그래프 컷 개선 기법의 포함이 가짜 마스크 품질 향상에 기여함을 아블레이션 연구를 통해 입증하였다.
• 전역 및 인스턴스 수준의 세그멘테이션 브랜치에서 유도된 톱다운 피드백이 검출 성능 향상에 기여하였으며, 두 구성 요소 모두 효과적이며 상호 보완적임을 확인하였다.
• 추론 시 오버헤드가 미미하며(0.49초 대비 Faster R-CNN의 0.42초), 파라미터 수 증가량도 작아서(약 1M) 실용적인 응용에 적합하다.