[논문 리뷰] Plug and Play Active Learning for Object Detection

Chenhongyi Yang, Lichao Huang외 1명|arXiv (Cornell University)|2022. 11. 21.

Machine Learning and Algorithms인용 수 4

한 줄 요약

이 논문은 객체 검출을 위한 두 단계형 활성 학습 프레임워크인 플러그 앤 플레이 활성 학습(PPAL)을 제안한다. PPAL은 난이도 보정된 불확실성 샘플링과 카테고리 조건부 매칭 유사도를 조합하여 주석 효율성을 향상시킨다. PPAL은 모델 아키텍처나 학습 파이프라인을 수정하지 않아도 MS-COCO와 Pascal VOC에서 다양한 검출기 아키텍처에서 기존 최고 성능 기준을 초월한다.

ABSTRACT

Annotating datasets for object detection is an expensive and time-consuming endeavor. To minimize this burden, active learning (AL) techniques are employed to select the most informative samples for annotation within a constrained "annotation budget". Traditional AL strategies typically rely on model uncertainty or sample diversity for query sampling, while more advanced methods have focused on developing AL-specific object detector architectures to enhance performance. However, these specialized approaches are not readily adaptable to different object detectors due to the significant engineering effort required for integration. To overcome this challenge, we introduce Plug and Play Active Learning (PPAL), a simple and effective AL strategy for object detection. PPAL is a two-stage method comprising uncertainty-based and diversity-based sampling phases. In the first stage, our Difficulty Calibrated Uncertainty Sampling leverage a category-wise difficulty coefficient that combines both classification and localisation difficulties to re-weight instance uncertainties, from which we sample a candidate pool for the subsequent diversity-based sampling. In the second stage, we propose Category Conditioned Matching Similarity to better compute the similarities of multi-instance images as ensembles of their instance similarities, which is used by the k-Means++ algorithm to sample the final AL queries. PPAL makes no change to model architectures or detector training pipelines; hence it can be easily generalized to different object detectors. We benchmark PPAL on the MS-COCO and Pascal VOC datasets using different detector architectures and show that our method outperforms prior work by a large margin. Code is available at https://github.com/ChenhongyiYang/PPAL

연구 동기 및 목표

• 객체 검출에서 높은 주석 비용 문제를 해결하기 위해 필요한 주석 수를 최소화하는 것.
• 위치 지정과 분류의 이중 작업 및 다중 인스턴스 이미지의 복잡성으로 인해 기존의 불확실성 기반 및 다양성 기반 활성 학습 방법의 한계를 극복하는 것.
• 기존 객체 검출기와 통합하기 위해 아키텍처나 학습 파이프라인 수정 없이 적용 가능한 플러그 앤 플레이 솔루션을 개발하는 것.
• 분류와 위치 지정 난이도를 함께 모델링하고 다중 인스턴스 이미지에 대한 세밀한 유사도 측정을 가능하게 하여 활성 학습 성능을 향상시키는 것.

제안 방법

• 난이도 보정 불확실성 샘플링(DCUS)을 제안한다: 분류 및 위치 지정 난이도를 모두 반영한 카테고리별 난이도 계수를 사용해 인스턴스 불확실성에 재가중을 적용한다.
• 카테고리 조건부 매칭 유사도(CCMS)를 도입한다: 한 이미지의 각 객체를 다른 이미지의 가장 유사한 대응 객체와 매칭한 후, 인스턴스 수준의 유사도를 앙상블하여 이미지 수준의 유사도를 계산한다.
• CCMS를 사용해 고불확실성 후보 풀에서 다양하고 대표적인 이미지를 선택하기 위해 수정된 k-means++ 알고리즘을 적용한다.
• 활성 학습 과정을 두 단계로 분리한다: (1) 불확실성 기반 후보 풀 선택, (2) 후보 풀에서 다양성 기반 질의 선택.
• 기본으로 엔트로피를 불확실성 측정 지표로 사용하지만, 사후 확률 및 마진 기반 불확실성으로의 일반화 성능을 검증한다.
• 모델 구조나 학습 절차를 변경하지 않음으로써 어떤 검출기 아키텍처나 백본과도 호환성을 확보한다.

실험 결과

연구 질문

• RQ1 위치 지정과 분류 불확실성이 모두 존재하는 객체 검출에 대해 불확실성 기반 활성 학습이 효과적으로 적용될 수 있는가?
• RQ2 다중 인스턴스 이미지에서 다양성 기반 활성 학습의 유사도 측정을 어떻게 향상시킬 수 있는가?
• RQ3 아키텍처나 학습 파이프라인 수정 없이 다양한 객체 검출기와 호환되는 플러그 앤 플레이 활성 학습 프레임워크를 설계할 수 있는가?
• RQ4 분류와 위치 지정 난이도를 함께 모델링하면 객체 검출의 활성 학습 성능이 향상되는가?
• RQ5 제안된 CCMS 유사도 측정 방식이 전역 특징 유사도에 비해 의미적 다양성과 인스턴스 수준의 다양성을 얼마나 잘 포착하는가?

주요 결과

• PPAL은 MS-COCO와 Pascal VOC에서 기존 활성 학습 방법을 모두 초월하는 최고 성능을 달성하며, 다양한 검출기 아키텍처와 백본 네트워크에서 일반화 성능이 뛰어나다.
• RetinaNet와 ResNet-101을 사용한 Pascal VOC에서 PPAL은 20% 주석 예산에서 75.0% mAP를 기록했으며, 랜덤 샘플링 대비 72.3%를 상회한다.
• MobileNetV2를 사용할 경우 PPAL은 20% 예산에서 50.7% mAP를 달성하여 랜덤 샘플링(44.7%)을 크게 앞서며 경량 모델에서도 뛰어난 성능을 보였다.
• Swin-Tiny를 사용한 실험에서 PPAL은 20% 예산에서 76.2% mAP를 기록했으며, 트랜스포머 기반 백본을 포함한 다양한 백본 유형 간에도 강력한 일반화 성능을 보였다.
• COCO mini-val에서 CCMS는 Jaccard 유사도와 강한 정적 상관관계(r ≈ 0.7)를 보이며, 전역 유사도에 비해 의미적 유사도를 더 잘 포착함을 시사한다.
• 시각화 결과는 CCMS가 전역 유사도와 달리 주로 우세한 객체에 편향되지 않고 세밀한 세부 정보를 잘 포착함을 확인했다.