[논문 리뷰] Beyond Cats and Dogs: Semi-supervised Classification of fuzzy labels with overclustering

Lars Schmarje, Johannes Brünger외 4명|arXiv (Cornell University)|2020. 12. 03.

Machine Learning and Data Classification참고 문헌 46인용 수 8

한 줄 요약

이 논문은 생물학적 또는 의료 영상과 같은 실제 데이터에서 흔한 흐린 레이블의 하위 구조를 탐지하기 위해 새로운 역교차 엔트로피 손실를 사용하는 오버클러스터링을 통합한 새로운 준지도 학습 프레임워크인 퍼지 오버클러스터링(Fuzzy Overclustering, FOC)을 제안한다. 이는 빠른 훈련(최대 9배의 속도 향상), 5–10% 더 일관된 예측, 그리고 흐린 레이블이 있는 STL-10 및 실제 플랑크톤 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

A long-standing issue with deep learning is the need for large and consistently labeled datasets. Although the current research in semi-supervised learning can decrease the required amount of annotated data by a factor of 10 or even more, this line of research still uses distinct classes like cats and dogs. However, in the real-world we often encounter problems where different experts have different opinions, thus producing fuzzy labels. We propose a novel framework for handling semi-supervised classifications of such fuzzy labels. Our framework is based on the idea of overclustering to detect substructures in these fuzzy labels. We propose a novel loss to improve the overclustering capability of our framework and show on the common image classification dataset STL-10 that it is faster and has better overclustering performance than previous work. On a real-world plankton dataset, we illustrate the benefit of overclustering for fuzzy labels and show that we beat previous state-of-the-art semisupervised methods. Moreover, we acquire 5 to 10% more consistent predictions of substructures.

연구 동기 및 목표

• 전문가 간의 합의가 낮고 명확하게 분리되지 않는 클래스로 이루어진 실제 데이터의 분류 과제를 해결하기 위해.
• 강경한 카테고리로 레이블을 강제하는 대신, 흐린 데이터 내에서 의미 있는 하위 구조를 탐지함으로써 준지도 학습을 향상시키기 위해.
• 흐린 레이블과 비대칭 클래스 분포를 가진 데이터셋에서 기존 준지도 학습 방법을 초월하는 프레임워크를 개발하기 위해.
• 비라벨 데이터에 대한 오버클러스터링 성능를 유지하거나 향상시키면서도 훈련 시간을 단축하기 위해.

제안 방법

• 프레임워크는 소량의 확신 있는 레이블이 부여된 이미지와 대량의 흐린 레이블(비라벨로 간주됨)이 부여된 이미지를 사용하여 준지도 학습을 수행한다.
• 오버클러스터링을 활용해 흐린 레이블 데이터 내에서 세분화된 하위 구조를 탐지함으로써 전문가 분석의 일관성을 높인다.
• 구분된 클러스터 할당을 장려함으로써 오버클러스터링 성능를 향상시키기 위해 새로운 손실 함수인 역교차 엔트로피를 도입한다.
• 일반 분류 헤드와 오버클러스터링 헤드를 포함하는 다중 헤드 아키텍처를 사용하며, 사전 학습 작업, 상호정보 손실, 그리고 새로운 CE-1 손실의 조합으로 훈련한다.
• 가중치 초기화 방법을 철저히 평가하였으며, CIFAR-20 가중치가 STL-10에서 ImageNet 가중치보다 우수한 성능을 보였고, 이는 데이터셋에 특화된 최적화가 핵심임을 시사한다.
• 프레임워크는 에포크당 데이터 제한을 영리하게 적용할 수 있어, 이전 방법 대비 최대 9배의 훈련 시간 단축을 달성한다.

실험 결과

연구 질문

• RQ1 전문가의 합의가 낮은 실제 흐린 레이블 데이터에서 오버클러스터링이 하위 구조를 효과적으로 탐지할 수 있는가?
• RQ2 제안된 역교차 엔트로피 손실는 준지도 학습에서 표준 손실과 비교해 오버클러스터링 성능를 얼마나 향상시키는가?
• RQ3 FOC는 흐린 데이터에서 분류 및 클러스터링 정확도를 유지하거나 향상시키면서도 훈련 시간을 얼마나 줄일 수 있는가?
• RQ4 FOC는 흐린 레이블과 비대칭 클래스 분포를 가진 데이터셋에서 FixMatch와 같은 최신 기술 수준의 준지도 학습 방법을 초월하는가?
• RQ5 FOC를 사용할 경우, 흐린 데이터의 하위 구조에 대한 예측의 일관성은 이전 방법보다 얼마나 더 높아지는가?

주요 결과

• FOC는 에포크당 데이터 사용량을 제한함으로써 STL-10에서 훈련 시간을 수일에서 수시간으로 단축하여 최대 9배의 속도 향상을 달성한다.
• STL-10 데이터셋에서 FOC는 전체 손실 설정으로 오버클러스터링 F1 스코어 70.57%를 기록했으며, IIC보다 오버클러스터링 성능에서 11% 이상 뛰어나다.
• 실제 플랑크톤 데이터셋에서 FOC는 오버클러스터링 F1 스코어 77.60%를 기록했으며, FixMatch 및 기타 최신 기술 수준의 방법들을 크게 능가한다.
• FOC는 흐린 레이블에서 예측의 일관성을 5–10% 향상시켜, 후속 전문가 분석의 신뢰성을 높인다.
• 역교차 엔트로피 손실(CE-1)은 STL-10에서 오버클러스터링 성능를 10% 향상시키며, 플랑크톤 데이터셋에서는 최대 7% 향상시키며, 가중치 초기화 방법과는 무관하게 효과를 발휘한다.
• 조금 더 열악한 초기화(예: CIFAR-20 가중치)를 사용하더라도 FOC는 ImageNet 미사전학습 모델을 능가하는 성능를 보이며, 이는 손실 함수가 열악한 초기화를 상쇄할 수 있음을 시사한다.