[논문 리뷰] Consistency-based Active Learning for Object Detection

Weiping Yu, Sijie Zhu외 2명|arXiv (Cornell University)|2021. 03. 18.

Machine Learning and Algorithms인용 수 7

한 줄 요약

이 논문은 객체 검출을 위한 일致성 기반 주의적인 학습 방법인 CALD를 제안하며, 원본 이미지와 증강된 이미지 간의 예측 일치도를 측정하여 정보가 풍부한 샘플을 선택함으로써 박스 회귀와 분류 불확실성을 통합한다. CALD는 SOTA 성능을 달성하여 Faster R-CNN를 사용할 때 PASCAL VOC에서 무작위 선택 대비 mAP를 2.9–2.8 mAP 향상시키고, MS COCO에서는 0.8 mAP 향상시킨다.

ABSTRACT

Active learning aims to improve the performance of task model by selecting the most informative samples with a limited budget. Unlike most recent works that focused on applying active learning for image classification, we propose an effective Consistency-based Active Learning method for object Detection (CALD), which fully explores the consistency between original and augmented data. CALD has three appealing benefits. (i) CALD is systematically designed by investigating the weaknesses of existing active learning methods, which do not take the unique challenges of object detection into account. (ii) CALD unifies box regression and classification with a single metric, which is not concerned by active learning methods for classification. CALD also focuses on the most informative local region rather than the whole image, which is beneficial for object detection. (iii) CALD not only gauges individual information for sample selection, but also leverages mutual information to encourage a balanced data distribution. Extensive experiments show that CALD significantly outperforms existing state-of-the-art task-agnostic and detection-specific active learning methods on general object detection datasets. Based on the Faster R-CNN detector, CALD consistently surpasses the baseline method (random selection) by 2.9/2.8/0.8 mAP on average on PASCAL VOC 2007, PASCAL VOC 2012, and MS COCO. Code is available at \url{https://github.com/we1pingyu/CALD}

연구 동기 및 목표

• 객체 검출에 분류 기반 주의적인 학습 방법을 적용할 때 발생하는 성능 저하 문제를 해결하기 위해, 경계 박스 예측과 국소 영역 집중이라는 고유한 과제를 고려한다.
• 전역 지표와 균형 잡히지 않은 클래스 분포의 한계를 극복하기 위해 국소 영역 일치도와 상호정보량에 초점을 맞춘다.
• 분류와 회귀 불확실성을 일치도 기반 지표를 통해 통합하는 검출 전용 주의적인 학습 프레임워크를 설계한다.
• 상호정보량 필터링을 통해 클래스 균형을 유지하면서도 정보가 풍부한 샘플을 선택함으로써 주석 효율성을 향상시킨다.

제안 방법

• 미라벨 이미지에 데이터 증강(예: 플립, 컷아웃, 회전)을 적용하고, 원본과 증강된 버전 간의 예측 일치도를 측정하여 국소 영역의 정보량을 평가한다.
• 분류 신뢰도와 경계 박스 회귀에 대해 예측값과 기준점 값 간의 절대 차이의 최소값을 사용하여 일치도 기반 지표를 정의하며, 가장 불확실한 국소 영역에 집중한다.
• 일치도 지표를 校정하기 위해 기준점 β ≈ 1.3을 사용하여 정보가 풍부한 예측을 식별하고, 정보가 없는 또는 불안정한 예측을 걸러낸다.
• 예산보다 더 많은 샘플(예: 20% 확장 비율)을 선택하여 초기 선택 풀을 구성함으로써 후속 필터링을 가능하게 한다.
• 초기 선택 풀의 클래스 분포와 라벨이 부여된 풀 간의 상호정보량을 사용하여 샘플을 필터링하고 클래스 분포의 균형을 확보한다.
• 두 단계 선택을 통해 개별 정보량과 상호정보량을 통합한다: 먼저 정보가 풍부한 샘플을 식별하고, 이후에 클래스 균형을 방지하기 위해 정밀 조정한다.

실험 결과

연구 질문

• RQ1 분류 기반 주의적인 학습 방법을 객체 검출에 적용할 때 성능 저하가 발생하는 이유는 무엇이며, 그 핵심 과제는 무엇인가?
• RQ2 분류와 회귀 불확실성을 통합한 단일 지표가 별도의 지표보다 객체 검출에서 샘플 선택 성능을 향상시킬 수 있는가?
• RQ3 전역 이미지 수준 지표 대신 국소 영역 일치도를 활용할 경우 주의적인 학습에서 검출 성능이 향상되는가?
• RQ4 상호정보량 필터링이 주의적인 학습에서 클래스 분포 균형과 전체 검출 정확도 향상에 얼마나 기여하는가?

주요 결과

• CALD는 Faster R-CNN를 사용할 때 PASCAL VOC 2007에서 무작위 선택 대비 mAP를 2.9 mAP 향상시키고, PASCAL VOC 2012에서는 2.8 mAP 향상시키며, MS COCO에서는 0.8 mAP 향상시켰다.
• 이 방법은 작업 무관 기반 및 검출 전용 기반 주의적인 학습 방법을 모두 초월하며, LL4AL 및 VAAL과 같은 기존 방법들은 분류에서 검출로 이행할 때 성능 저하가 심각하게 발생한다.
• 국소 영역 불일치의 평균(전역 지표)을 사용하는 것 대신 국소 최소값을 사용할 경우 성능 저하가 발생함을 확인하여 국소 영역 집중의 중요성을 입증한다.
• 기준점 β를 제거하거나 지표에서 신뢰도 가중치를 忽略할 경우 성능 저하가 발생함을 확인하여 β ≈ 1.3과 신뢰도 인식 가중치 설계의 타당성을 검증한다.
• 초기 풀의 확장 비율이 20%일 경우 최적의 성능을 달성하며, 이보다 높은 비율은 정보가 풍부한 샘플의 과도한 필터링으로 인해 성능 저하를 초래한다.
• 두 번째 단계에서 상호정보량 필터링이 성능 향상에 크게 기여함을 확인하여 샘플 선택 시 클래스 분포 균형을 유지를 하는 것이 필수적임을 입증한다.