[논문 리뷰] Virtual Category Learning: A Semi-Supervised Learning Method for Dense Prediction with Extremely Limited Labels

Changrui Chen, Jungong Han외 1명|arXiv (Cornell University)|2023. 12. 02.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

이 논문은 밀도 높은 예측 작업을 위한 준지도 학습 방법으로 가상 카테고리(Virtual Category, VC) 학습을 제안한다. 이 방법은 잘못된 레이블을 가진 어려운 비라벨링 샘플을 기각하거나 직접 노이즈가 있는 가짜 레이블을 사용하는 대신, 이러한 샘플에 가상 카테고리를 할당함으로써 안전한 최적화를 가능하게 한다. 이러한 가상 카테고리를 통해 모델은 극도로 제한된 라벨 데이터 조건에서도 최신 기술 수준(SOTA) 성능을 달성하며, 특히 세분화 및 객체 검출 작업에서 매우 적은 라벨 데이터로도 기존 방법을 능가한다.

ABSTRACT

Due to the costliness of labelled data in real-world applications, semi-supervised learning, underpinned by pseudo labelling, is an appealing solution. However, handling confusing samples is nontrivial: discarding valuable confusing samples would compromise the model generalisation while using them for training would exacerbate the issue of confirmation bias caused by the resulting inevitable mislabelling. To solve this problem, this paper proposes to use confusing samples proactively without label correction. Specifically, a Virtual Category (VC) is assigned to each confusing sample in such a way that it can safely contribute to the model optimisation even without a concrete label. This provides an upper bound for inter-class information sharing capacity, which eventually leads to a better embedding space. Extensive experiments on two mainstream dense prediction tasks -- semantic segmentation and object detection, demonstrate that the proposed VC learning significantly surpasses the state-of-the-art, especially when only very few labels are available. Our intriguing findings highlight the usage of VC learning in dense vision tasks.

연구 동기 및 목표

• 밀도 높은 예측 작업(예: 세분화 및 객체 검출)에서 극도로 제한된 라벨 데이터로 딥 모델을 훈련시키는 과제를 해결하기 위해.
• 기존의 가짜 레이블링 방법이 혼동스러운 샘플을 기각하거나 노이즈가 있는 레이블로 인해 확인 편향(confirmation bias)을 겪는 한계를 극복하기 위해.
• 지표 레이블이 필요 없이 어려운 모호한 비라벨링 샘플을 효과적으로 활용하기 위해 가상 카테고리 메커니즘을 도입함으로써.
• 저샷 준지도 학습 환경에서 모델의 일반화 능력 향상과 최적화 안정성 향상을 위해.

제안 방법

• 단일로 잘못될 수 있는 레이블에 의존하는 대신, 가짜 레이블 분포를 기반으로 각 혼동스러운 비라벨링 샘플에 가상 카테고리(Virtual Category, VC)를 할당한다.
• 각 혼동스러운 샘플에 대해 가능한 모든 클래스를 나타내는 잠재적 카테고리(Potential Category, PC) 집합을 구성한다.
• 지표 레이블이 없더라도 안전한 클래스 간 경계 방향으로 모델 최적화를 유도하는 수정된 손실 함수인 Reg* 손실을 도입한다.
• 분석이 필요한 경우 경량화된 그래프에서 VC 손실를 기울기 분리(gradient detachment)를 통해 분리함으로써 VC 기여도를 분석할 수 있도록 한다.
• 성능 유지와 동시에 강건성 향상을 위해 검출 네트워크의 후기 단계(예: RPN 및 영역 분류기)에만 VC 학습을 선택적으로 적용한다.
• 신뢰도 임계값과 시간적 안정성 검증을 통해 가짜 레이블의 신뢰성이 떨어지는 경우를 걸러내고 나서야 비로소 VC를 할당한다.

실험 결과

연구 질문

• RQ1 지표 레이블이 없이도 혼동스러운 비라벨링 샘플을 준지도 학습 밀도 높은 예측에서 효과적으로 활용할 수 있는가?
• RQ2 모호한 샘플에 가상 카테고리를 할당하는 것이, 기각하거나 직접 노이즈가 있는 가짜 레이블을 사용하는 것보다 모델 일반화 능력을 향상시키는가?
• RQ3 특히 기준 모델이 약한 경우, 극도로 제한된 라벨 조건에서 VC 학습은 어떻게 성능을 내는가?
• RQ4 VC 학습은 세분화 및 객체 검출 작업 모두에 효과적으로 적용될 수 있는가?
• RQ5 모델 최적화에서 VC 학습의 기여도는 단순한 필터링 또는 손실 생략과 비교해 어떻게 다를까?

주요 결과

• Pascal VOC 데이터셋에서 라벨의 1/128만 사용할 때도 VC 학습은 최신 기술 수준 성능을 달성하며, 기존 방법을 능가한다.
• MS COCO의 1% 라벨 조건에서 VC 학습은 20.81 mAP를 달성하여, 혼동스러운 샘플을 기각하거나 모두 유지하는 전략보다 뚜렷이 뛰어난 성능을 보였다.
• 분석 결과, VC 학습이 가장 높은 성능을 내며, '기각' 및 '분리' 변형 버전은 성능이 열 劣하므로 VC 기여도가 손실 구성 요소 생략 때문이라는 것이 아닌 것으로 입증되었다.
• RPN 및 영역 분류기 단계에 모두 VC 학습을 적용함으로써 mAP는 20.00에서 20.81로 향상되었으며, 이는 검출 단계 전반에 걸쳐 효과적임을 보여준다.
• miniImageNet에서 VC 학습은 51.49%의 top-1 정확도를 달성하여, 밀도 높은 분류 작업이 아닌 환경에서도 현저히 높은 성능을 내며 기존 방법을 압도했다.
• 매우 적은 라벨이 존재하는 조건에서도 효과적이며, 라벨 비율이 증가함에 따라 수익 감소 현상이 나타나는 것은 이론적 기대와 일치하며, 예상되는 결과이다.