[논문 리뷰] Boosting Weakly Supervised Object Detection with Progressive Knowledge Transfer

Yuanyi Zhong, Jianfeng Wang외 2명|arXiv (Cornell University)|2020. 07. 15.

Advanced Neural Network Applications참고 문헌 37인용 수 6

한 줄 요약

이 논문은 비겹치는 카테고리로 구성된 완전히 애너테이션된 소스 데이터셋(예: COCO 또는 ImageNet)을 활용하여 반복적으로 개선되는 점진적 지식 전이 프레임워크를 제안한다. 일종의 유니버설 디텍터를 훈련하고, 여러 반복 과정에서 소스 및 타겟 도메인 양쪽에서 추출한 허위 진짜 박스를 통해 이를 보완함으로써, Pascal VOC 2007에서 59.7%의 새로운 최고 성능 mAP를 달성하고, 추출한 허위 레이블로 재학습한 Faster R-CNN은 60.2% mAP를 기록한다.

ABSTRACT

In this paper, we propose an effective knowledge transfer framework to boost the weakly supervised object detection accuracy with the help of an external fully-annotated source dataset, whose categories may not overlap with the target domain. This setting is of great practical value due to the existence of many off-the-shelf detection datasets. To more effectively utilize the source dataset, we propose to iteratively transfer the knowledge from the source domain by a one-class universal detector and learn the target-domain detector. The box-level pseudo ground truths mined by the target-domain detector in each iteration effectively improve the one-class universal detector. Therefore, the knowledge in the source dataset is more thoroughly exploited and leveraged. Extensive experiments are conducted with Pascal VOC 2007 as the target weakly-annotated dataset and COCO/ImageNet as the source fully-annotated dataset. With the proposed solution, we achieved an mAP of $59.7\%$ detection performance on the VOC test set and an mAP of $60.2\%$ after retraining a fully supervised Faster RCNN with the mined pseudo ground truths. This is significantly better than any previously known results in related literature and sets a new state-of-the-art of weakly supervised object detection under the knowledge transfer setting. Code: \url{https://github.com/mikuhatsune/wsod_transfer}.

연구 동기 및 목표

• 비겹치는 카테고리로 구성된 외부 완전 애너테이션 데이터셋을 활용하여, 완전 감독과 약한 감독 객체 검출기 간의 성능 격차를 해소한다.
• 타겟 도메인 객체가 배경으로 잘못 레이블링될 수 있는 소스 데이터셋의 불완전한 레이블 문제를 반복적으로 검출 지식을 개선함으로써 해결한다.
• 일괄 전이 방식을 점진적이고 반복적인 개선 과정으로 대체하여 지식 전이 효율성을 높이고, 유니버설 디텍터와 타겟 도메인 디텍터 양쪽의 성능을 향상시킨다.
• 타겟 도메인에서 반복적으로 생성된 허위 레이블링이 소스 도메인 유니버설 디텍터의 일반화 능력과 재현율을 크게 향상시킬 수 있음을 입증한다.

제안 방법

• 이 방법은 소스 데이터셋(예: COCO-60)에서 훈련된 일종의 유니버설 디텍터(OCUD)를 사용하여, 소스 및 타겟 이미지 양쪽에서 타겟 클래스의 인스턴스를 검출한다.
• 각 반복 단계에서 타겟 도메인의 MIL 디텍터가 소스 및 타겟 이미지 양쪽에서 타겟 클래스의 허위 진짜 박스를 생성하고, 이를 바탕으로 OCUD를 재학습한다.
• 반복적인 개선 과정은 허위 레이블을 사용해 타겟 디텍터를 업데이트하고, 새로 추출된 양성 인스턴스로 OCUD를 향상시키는 방식으로 번갈아가며 지식 전이를 향상시킨다.
• 허위 레이블은 소스 및 타겟 데이터셋 양쪽에서 추출되며, 이로 인해 OCUD가 타겟 도메인 객체의 특징을 더 잘 포착하고 거짓 음성 수를 줄일 수 있다.
• 이 프레임워크는 이중 단계 훈련 루프를 사용한다: 첫 번째 단계에서는 OCUD를 소스 데이터셋에서 훈련하고, 두 번째 단계에서는 타겟 디텍터가 허위 레이블을 생성하여 OCUD를 미세조정하며, 여러 개선 반복을 반복한다.
• 최종 모델은 타겟 데이터셋(예: VOC 2007)에서 평가되며, 추출된 허위 레이블은 완전 감독 기반의 Faster R-CNN 재학습에도 사용되어 최고 성능을 달성한다.

실험 결과

연구 질문

• RQ1 비겹치는 카테고리로 구성된 완전 애너테이션 소스 데이터셋에서의 반복적 지식 전이가 약한 감독 객체 검출 성능을 크게 향상시킬 수 있는가?
• RQ2 타겟 도메인에서 유도된 허위 레이블을 사용해 일종의 유니버설 디텍터를 점진적으로 개선함으로써 거짓 음성 수가 감소하고 검출 재현율이 향상되는가?
• RQ3 단일 단계 전이 대비 다단계 지식 전이 방식이 mAP 향상도와 소스 데이터의 레이블 불완전성에 대한 강건성 측면에서 어떻게 비교되는가?
• RQ4 약한 감독 객체 검출에서 상당한 성능 향상을 달성하기 위해 필요한 최소한의 소스 데이터량은 얼마인가?

주요 결과

• 제안된 점진적 지식 전이 방법은 COCO-60을 소스 데이터셋으로 사용할 경우, Pascal VOC 2007 테스트 세트에서 59.7%의 mAP를 기록하여, 이 전이 설정 하에서 약한 감독 객체 검출의 새로운 최고 성능을 달성한다.
• 추출한 허위 진짜 박스로 완전 감독 기반의 Faster R-CNN을 재학습한 결과, 60.2% mAP를 기록하여 원래 ZF 백본을 사용한 완전 감독 Faster R-CNN(59.9% mAP)를 초월한다.
• VOC 2007에서 단일 단계 전이의 mAP 54.93%에서 다섯 번의 개선 반복 후 59.71%로 상승하여, 반복적 개선으로 인해 4.78점의 상당한 향상이 이루어졌다.
• 어려운 소스 데이터셋(COCO-60-full, 비겹치는 카테고리 유지하나 애너테이션 제거)을 사용하더라도 55% 이상의 mAP를 기록하여, 레이블 불완전성에 대해 뛰어난 강건성을 보였다.
• COCO-60 데이터셋의 단지 20%만(훈련 4,396장, 검증 194장)으로도 58% 이상의 mAP를 달성할 수 있어, 높은 데이터 효율성을 입증하였다.
• ILSVRC-179를 소스로 사용했을 경우 56.46% mAP를 기록하여, COCO-60-full를 초월했지만 COCO-60에는 미치지 못했으며, 이는 데이터 품질과 도메인 일관성이 핵심 요소임을 시사한다.