[논문 리뷰] Weakly Supervised Active Learning with Cluster Annotation

Fábio Perez, Rémi Lebret외 1명|arXiv (Cornell University)|2018. 12. 31.

Machine Learning and Algorithms참고 문헌 10인용 수 4

한 줄 요약

이 논문은 전문가가 개별 샘플 대신 유사한 이미지의 클러스터 전체를 레이블링할 수 있도록 허용함으로써 인간의 레이블링 노력을 줄이는 약한 지도 학습 기반의 능동 학습 프레임워크를 제안한다. 불확실성 샘플링과 클러스터 레이블링을 결합함으로써, CIFAR-10에서는 인간 상호작용을 82% 감소시키고 EuroSAT에서는 87% 감소시키면서도 완전 지도 학습과 유사한 테스트 정확도를 달성한다.

ABSTRACT

In this work, we introduce a novel framework that employs cluster annotation to boost active learning by reducing the number of human interactions required to train deep neural networks. Instead of annotating single samples individually, humans can also label clusters, producing a higher number of annotated samples with the cost of a small label error. Our experiments show that the proposed framework requires 82% and 87% less human interactions for CIFAR-10 and EuroSAT datasets respectively when compared with the fully-supervised training while maintaining similar performance on the test set.

연구 동기 및 목표

• 딥 러닝에서 인간 데이터 레이블링의 높은 비용을 줄이기 위해 개별 레이블링 상호작용의 수를 최소화하는 것.
• 대규모 데이터셋에 대해 능동 학습을 확장하는 도전 과제를 해결하기 위해 유사한 샘플을 군집화함으로써 자원을 활용하는 것.
• 전문가가 약간의 레이블 노이즈를 수반하는 클러스터를 레이블링할 수 있도록 함으로써 레이블링 효율성을 향상시키면서도 모델 성능을 손상시키지 않는 것.
• 불확실성 샘플링과 클러스터 레이블링을 조합하면 단독으로 사용할 경우보다 더 높은 성능과 효율성을 달성할 수 있음을 보여주는 것.

제안 방법

• 사전 훈련된 CNN의 특징 임bedding을 기반으로 비라벨링 샘플을 클러스터로 그룹화하는 풀 기반의 능동 학습 파이프라인에 클러스터링을 통합한다.
• 클러스터가 내부적으로 클래스 일관성을 가진다고 가정하여 인간 전문가에게 클러스터를 제시함으로써 필요한 개별 레이블링 수를 줄인다.
• 불확실성 기반 샘플 선택과 클러스터 레이블링을 번갈아가며 또는 병행 적용하는 하이브리드 레이블링 전략을 제안하여 모델 성능을 향상시킨다.
• 추가적인 훈련 오버헤드를 방지하기 위해 특징 추출과 분류에 동일한 딥 네URAL 네트워크를 사용한다.
• 레이블 노이즈를 줄이기 위해 먼저 불확실한 샘플을 선택하여 클러스터를 정리한 후 클러스터 레이블링을 수행함으로써 레이블링 순서를 최적화한다.
• 전문가 레이블링을 보조하기 위해 대표 샘플을 사용하여 클러스터를 시각화함으로써 명확성과 커버리지 사이의 균형을 유지한다.

실험 결과

연구 질문

• RQ1 클러스터 레이블링이 딥 네URAL 네트워크 훈련을 위한 인간 상호작용 수를 크게 줄일 수 있는가?
• RQ2 불확실성 샘플링과 클러스터 레이블링을 조합할 경우, 단독으로 사용할 경우와 비교해 모델 성능에 어떤 영향을 미치는가?
• RQ3 레이블링 순서—불확실성 우선 vs 클러스터 우선—가 레이블 오류와 모델 정확도에 어떤 영향을 미치는가?
• RQ4 클러스터 레이블링을 통해 얼마나 적은 수의 레이블 예시로도 완전 지도 학습 수준의 성능을 유지할 수 있는가?

주요 결과

• 제안된 프레임워크는 완전 지도 학습 대비 CIFAR-10에서 82%, EuroSAT에서 87%의 인간 상호작용을 줄였으며, 유사한 테스트 정확도를 달성한다.
• 불확실성 + 클러스터 레이블링 순서가 클러스터 + 불확실성 및 기타 베이스라인보다 뛰어난 성능을 보이며, 두 데이터셋에서 모두 최고의 테스트 정확도를 기록한다.
• 불확실한 샘플을 먼저 레이블링할 경우 클러스터 레이블링 샘플의 레이블 오류가 크게 감소하여 클러스터 품질 향상이 확인된다.
• 불확실성과 클러스터 레이블링을 병행하는 시나리오는 총 레이블링 이미지 수가 가장 많지만, 높은 레이블 노이즈로 인해 성능 향상은 제한된다.
• CIFAR-10에서는 9,000건(18%)의 인간 상호작용으로 테스트 정확도 0.950±0.003을, EuroSAT에서는 2,800건(13%)의 인간 상호작용으로 0.973±0.001의 정확도를 달성하여 완전 지도 학습 성능을 정확히 재현한다.
• 클러스터 전용 전략은 초기에 정체되며, 성능 향상을 유지하기 위해 계속해서 불확실성 기반 샘플링이 필요함을 시사한다.