[논문 리뷰] Entropy-based Active Learning for Object Detection with Progressive Diversity Constraint

Jiaxi Wu, Jiaxin Chen외 1명|arXiv (Cornell University)|2022. 04. 17.

Image Processing Techniques and Applications인용 수 4

한 줄 요약

이 논문은 객체 검출을 위한 새로운 하이브리드 활성 학습 방법을 제안하며, 이는 이중 단계 프레임워크를 통해 개체 수준의 불확실성과 다양성을 통합한다: 특성 공간 내 엔트로피 기반 비최대 억제(ENMS)를 통한 불확실성 추정과 점진적인 내부 및 상호 클래스 다양성을 위한 다채널 프로토타입(DivProto) 전략. 이 방법은 MS COCO와 Pascal VOC에서 최신 기술 수준(SOTA) 성능을 달성하며, 정보성과 대표성을 균형 있게 유지하면서도 계산 효율성을 확보하여 기존 방법보다 뚜렷이 뛰어나다.

ABSTRACT

Active learning is a promising alternative to alleviate the issue of high annotation cost in the computer vision tasks by consciously selecting more informative samples to label. Active learning for object detection is more challenging and existing efforts on it are relatively rare. In this paper, we propose a novel hybrid approach to address this problem, where the instance-level uncertainty and diversity are jointly considered in a bottom-up manner. To balance the computational complexity, the proposed approach is designed as a two-stage procedure. At the first stage, an Entropy-based Non-Maximum Suppression (ENMS) is presented to estimate the uncertainty of every image, which performs NMS according to the entropy in the feature space to remove predictions with redundant information gains. At the second stage, a diverse prototype (DivProto) strategy is explored to ensure the diversity across images by progressively converting it into the intra-class and inter-class diversities of the entropy-based class-specific prototypes. Extensive experiments are conducted on MS COCO and Pascal VOC, and the proposed approach achieves state of the art results and significantly outperforms the other counterparts, highlighting its superiority.

연구 동기 및 목표

• 객체 검출에서 높은 레이블링 비용 문제를 해결하기 위해 더 정보적인 미레이블링 이미지를 선택하는 활성 학습 전략을 개발하는 것.
• 계산 비용을 효율적으로 유지하면서도 개체 수준의 불확실성과 이미지 간 다양성을 동시에 최적화하는 것.
• 균형 잡히고 대표적인 이미지 수집을 보장함으로써 더 적은 수의 레이블 샘플로도 모델 성능을 향상시키는 것.
• 기존의 불확실성 기반 및 다양성 기반 방법의 한계를 극복하기 위해 개체 수준에서 두 원칙을 통합하는 것.

제안 방법

• 특성 공간 내 엔트로피 기반으로 반복적인 개체 인스턴스를 억제함으로써 이미지 수준의 불확실성을 추정하기 위해 엔트로피 기반 비최대 억제(ENMS)를 도입한다.
• 각 이미지별로 ENMS를 적용하여 인스턴스 수준의 불확실성을 정밀화하며, 억제 후 엔트로피가 높을수록 선택 우선순위가 높아진다.
• 클래스별 인스턴스를 프로토타입으로 집계하여 내부 및 상호 클래스 다양성을 강제하는 다채널 프로토타입(DivProto) 전략을 개발한다.
• 엔트로피 기반의 클래스별 프로토타입을 사용하여 내부 및 상하위 클래스 간 다양성을 향상시키는 이미지를 점진적으로 선택한다.
• 이중 단계 파이프라인을 구현한다: 먼저 ENMS를 통해 불확실성 필터링을 수행하고, 그 다음 DivProto를 통해 다양성 인식 기반 이미지 선택을 수행한다.
• 모든 쌍별 인스턴스 비교가 아닌 프로토타입 수준에서 다양성 제약 조건을 적용하여 계산 비용을 균형 있게 조절한다.

실험 결과

연구 질문

• RQ1 객체 검출을 위한 활성 학습에서 어떻게 개체 수준의 불확실성과 다양성을 효과적으로 통합할 수 있는가?
• RQ2 불확실성 추정과 다양성 강화를 분리한 이중 단계 프레임워크는 성능 향상과 함께 계산 비용을 줄일 수 있는가?
• RQ3 프로토타입 수준에서 점진적인 다양성이 모델 일반화 및 레이블 효율성에 얼마나 기여하는가?
• RQ4 제안된 방법은 불확실성 전용 및 다양성 전용 기준 대비 정확도와 샘플 효율성 측면에서 어떻게 비교되는가?

주요 결과

• 제안된 방법은 MS COCO와 Pascal VOC 벤치마크에서 모두 최신 기술 수준(SOTA) 성능을 달성하며, 기존의 객체 검출 활성 학습 방법을 뛰어넘는다.
• MS COCO의 30% 레이블링 사이클에서 최적의 하이퍼파라미터 α=0.5와 β=0.75를 사용한 DivProto 모듈에서 가장 높은 평균 정확도(mAP)를 기록한다.
• ENMS와 DivProto의 조합은 COCO의 80개 클래스에 걸친 인스턴스 수 표준편차를 감소시켜 선택된 서브셋에서의 상호 클래스 균형이 향상되었음을 시사한다.
• 계산 효율성이 크게 향상되었다: 이 방법의 이미지 수집 시간(1,015초)은 원시적인 인스턴스 수준의 다양성 계산 상한값(9.95×10⁷초)보다 99% 이상 줄어들었다.
• 무작위 샘플링 및 기본 엔트로피 기반 선택 방법보다 뛰어나며, ResNet-101를 포함한 다양한 백본 네트워크에서 일관된 성능 향상을 보였다.
• t-SNE를 통한 시각화 결과 DivProto는 엔트로피 기반 기준보다 더 대표적이고 다양한 프로토타입을 생성했으며, 클래스 간 표준편차가 더 높았다.