[논문 리뷰] Conformal Cross-Modal Active Learning

Huy Hoang Nguyen, Cédric Jung외 4명|arXiv (Cornell University)|2026. 03. 24.

Machine Learning and Algorithms인용 수 0

한 줄 요약

CCMA는 사전 학습된 비전–언어 모델을 교사로 사용하여 활성 학습을 위한 보정된 교차 모달 불확실성을 제공하고, 다양성 인식 샘플 선택으로 비전 전용 학생을 안내하여 여러 벤치마크에서 데이터 효율성을 향상시킨다.

ABSTRACT

Foundation models for vision have transformed visual recognition with powerful pretrained representations and strong zero-shot capabilities, yet their potential for data-efficient learning remains largely untapped. Active Learning (AL) aims to minimize annotation costs by strategically selecting the most informative samples for labeling, but existing methods largely overlook the rich multimodal knowledge embedded in modern vision-language models (VLMs). We introduce Conformal Cross-Modal Acquisition (CCMA), a novel AL framework that bridges vision and language modalities through a teacher-student architecture. CCMA employs a pretrained VLM as a teacher to provide semantically grounded uncertainty estimates, conformally calibrated to guide sample selection for a vision-only student model. By integrating multimodal conformal scoring with diversity-aware selection strategies, CCMA achieves superior data efficiency across multiple benchmarks. Our approach consistently outperforms state-of-the-art AL baselines, demonstrating clear advantages over methods relying solely on uncertainty or diversity metrics.

연구 동기 및 목표

• 이미지 분류에서 VLMs의 다중 모달 지식을 활용하여 주석 비용 감소를 촉진한다.
• 교사와 학생의 불확실성을 보정하는 컨포멀, 교차 모달 획득 프레임워크를 개발한다.
• 다양성 있는 서브풀과 불확실성 가중 커버리지 전략을 통해 확장 가능한 샘플 선택을 enable한다.
• 여러 벤치마크에서 데이터 효율성 향상을 입증하고 교사 가이드가 가장 유익한 시점을 분석한다.

제안 방법

• 고정된 VLM 교사(CLIP)를 사용한 교사–학생 구성을 통해 텍스트–이미지 기초 가이드를 제공하고 고정된 비전 전용 학생(DINOv2)으로 예측을 수행한다.
• 컨포멀 예측 집합을 교사와 학생 모두에 대해 구성하여 샘플별 분포 자유(distribution-free) 불확실성 추정치를 얻는다.
• 교사와 학생의 포스터리어(distribution of posterior) 간의 renormalized JS 발산을 교차 모달 불일치로 계산한다(그들의 컨포멀 집합의 합집합 영역 내에서).
• CLIP 공간 클러스터링으로 형성된 큐레이션된 서브풀에 대해 불확실성 가중 커버리지 목적을 통해 다양성 인식 최종 선택을 도입한다.
• 학생의 성장이 진행될수록 파라미터 없는 신뢰도 게이트를 통해 교사와 학생의 영향력을 균형 있게 조정한다.

실험 결과

연구 질문

• RQ1 컨포멀 보정을 사용해 VLM 교사와 비전 전용 학생의 불확실성 신호를 활성 학습에 융합할 수 있는가?
• RQ2 교차 모달 불일치가 unimodal 불확실성이나 다양성 기반 AL 방법을 넘어 샘플 효율성을 향상시키는가?
• RQ3 선택적 서브풀링 및 불확실성 가중 커버리지가 데이터 효율적 AL의 확장성과 정확도에 어떤 영향을 미치는가?
• RQ4 교사의 지도 여부가 여전히 의미 있는가, 아니면 학습자가 획득 프로세스를 주도하는 것이 더 나은가?

주요 결과

• CCMA는 CIFAR100, Food101, 및 DomainNet-Real에서 라벨 효율성과 최종 정확도 측면에서 최첨단 AL 기반 대비 일관되게 같은 수준이거나 우수하다.
• 보정된 교차 모달 불일치는 특히 초기 라운드에서 효율적인 탐색을 안내하는 신뢰할 수 있는 샘플별 불확실성 신호를 제공한다.
• CLIP 특징 공간의 서브풀 클러스터링은 다양성을 보존하면서 스코어링 비용을 줄여서 정확도 손실 없이 확장 가능한 AL을 가능하게 한다.
• 교사–학생 간 불일치가 탐험에 유용할 수 있음을 시사하지만, 교사 정확도가 오로르 수준에 근접하면 성능이 정체되어 커버리지 해결이 더 큰 도전이 된다.