[논문 리뷰] Towards Effective Visual Representations for Partial-Label Learning

Shiyu Xia, Jiaqi Lv외 3명|arXiv (Cornell University)|2023. 05. 10.

Text and Document Classification Technologies인용 수 7

한 줄 요약

이 논문은 소음이 많은 대비 학습을 대체하기 위해 역방향 지침 메커니즘을 도입한 새로운 부분 레이블 학습 프레임워크인 PaPi를 제안한다: 선형 분류기가 원형 분류기를 지도하여 시각적 표현 학습을 향상시킨다. 선형 분류기의 예측을 원형 기반 유사도 점수와 일치시킴으로써 PaPi는 균일한 및 인스턴스 의존적 레이블 모호성 하에서 CIFAR-10, CIFAR-100, Mini-ImageNet에서 최신 기준(SOTA) 성능을 달성하며, 도전적인 설정에서 이전 방법들보다 최대 4.57% 향상된다.

ABSTRACT

Under partial-label learning (PLL) where, for each training instance, only a set of ambiguous candidate labels containing the unknown true label is accessible, contrastive learning has recently boosted the performance of PLL on vision tasks, attributed to representations learned by contrasting the same/different classes of entities. Without access to true labels, positive points are predicted using pseudo-labels that are inherently noisy, and negative points often require large batches or momentum encoders, resulting in unreliable similarity information and a high computational overhead. In this paper, we rethink a state-of-the-art contrastive PLL method PiCO[24], inspiring the design of a simple framework termed PaPi (Partial-label learning with a guided Prototypical classifier), which demonstrates significant scope for improvement in representation learning, thus contributing to label disambiguation. PaPi guides the optimization of a prototypical classifier by a linear classifier with which they share the same feature encoder, thus explicitly encouraging the representation to reflect visual similarity between categories. It is also technically appealing, as PaPi requires only a few components in PiCO with the opposite direction of guidance, and directly eliminates the contrastive learning module that would introduce noise and consume computational resources. We empirically demonstrate that PaPi significantly outperforms other PLL methods on various image classification tasks.

연구 동기 및 목표

• 소음이 많고 계산 비용이 높은 가짜 양성 샘플을 포함하는 부분 레이블 학습에서 대비 학습의 한계를 해결하기 위해.
• PiCO와 같은 기존 방법의 실패 원인, 특히 '나쁜 선생이 좋은 학생을 가르친다'는 현상에 대해 연구하기 위해.
• 원형 분류기에서 선형 분류기로 지침 방향을 뒤집어 레이블 해소를 향상시키고, 더 신뢰할 수 있는 표현 학습을 가능하게 하기 위해.
• 대비 학습을 제거하면서도 성능을 유지하거나 향상시킬 수 있는 단순하면서도 효과적인 프레임워크를 개발하기 위해.

제안 방법

• PaPi는 PiCO의 대비 학습 모듈을 기존의 지침 방향과 반대되는 방향으로 지도하는 방식으로 대체한다: 선형 분류기가 원형 분류기를 지도한다.
• 낮은 차원의 투영 공간에서 클래스 원형까지의 거리에 대해 소프트맥스를 적용하여 클래스 확률을 계산한다.
• 공유된 인코더를 사용하는 선형 분류기의 후처리 예측과 원형 분류기의 출력을 교차 엔트로피 손실을 통해 일치시킨다.
• 일반화 성능과 레이블 모호성에 대한 강건성을 향상시키기 위해 mixup 데이터 증강을 적용한다.
• 선형 분류기와 원형 분류기 간에 공유된 특징 인코더를 사용하여 일관된 표현 학습을 보장한다.
• 학습 목표가 동일한 클래스의 샘플들 간의 시각적 유사성을 원형 공간에 반영하도록 명시적으로 장려한다.

실험 결과

연구 질문

• RQ1 PiCO와 같은 대비 PLL 방법에서 지침 방향이 '나쁜 선생' 효과로 인해 성능이 열등해지는가?
• RQ2 대비 학습 모듈을 제거함으로써 소음과 계산 비용을 줄이고 표현 품질을 향상시킬 수 있는가?
• RQ3 특히 높은 레이블 모호성 하에서, 선형 분류기가 원형 분류기를 지도하는 것이 반대의 경우보다 더 효과적인가?
• RQ4 제안된 역방향 지침 메커니즘은 균일한 및 인스턴스 의존적 레이블 모호성 하에서 기존 최신 기준 방법과 비교해 어떻게 성능을 내는가?
• RQ5 제안된 프레임워크는 CIFAR-100-H 및 Mini-ImageNet을 포함한 다양한 벤치마크에서 일반화 가능한가?

주요 결과

• 균일한 모호성 하에서, PaPi는 CIFAR-100에서 q=0.1과 q=0.2일 때 각각 기존 최신 기준 방법보다 3.14% 및 3.72% 향상되었다.
• 더 현실적인 인스턴스 의존적 모호성 설정에서, PaPi는 최신 기준 방법 대비 CIFAR-10에서 4.40% 향상되었고, CIFAR-100에서는 4.57% 향상되었다.
• 제거 실험 결과, 원형 정렬 손실이 중요한 기여를 한다는 것이 확인되었으며, CIFAR-100(q=0.2)에서 제거 시 성능이 7.19% 감소하였다.
• 학습 전반에 걸쳐 선형 분류기가 원형 분류기보다 항상 뛰어난 성능을 보이며, 역방향 지도 방향이 효과적임을 검증하였다.
• 특징 표현의 시각화 결과, PaPi는 잘 분리된 내부 클래스 클러스터와 향상된 이질 클래스 분리도 달성하였다.
• mixup 증강 없이도 PaPi는 경쟁 가능한 성능을 기록하지만, CIFAR-100(q=0.2)에서 성능이 1.47% 감소하여 mixup의 긍정적 역할을 확인하였다.