[논문 리뷰] Self-supervised Semi-supervised Learning for Data Labeling and Quality Evaluation

Haoping Bai, Meng Cao외 2명|arXiv (Cornell University)|2021. 11. 22.

Advanced Neural Network Applications참고 문헌 32인용 수 7

한 줄 요약

이 논문은 대조적 표현 학습과 k-최근접 이웃 그래프를 통한 레이블 전파를 활용하여 효율적인 데이터 레이블링과 노이즈가 있는 레이블에 대한 강건한 분류를 가능하게 하는 자기지도 학습 반지도 학습 프레임워크를 제안한다. 비지도 특징 학습에 BYOL을 사용하고, 행렬 기반 레이블 전파를 적용함으로써, CIFAR10에서 레이블이 0.1%인 경우 97.0%의 Top-1 정확도를 달성하고, 50%의 노이즈가 있는 레이블이 존재하는 경우 97.4%의 정확도를 기록하며, 활성 학습과 노이즈 레이블에 대한 강건성 면에서 뛰어난 성능을 보였다.

ABSTRACT

As the adoption of deep learning techniques in industrial applications grows with increasing speed and scale, successful deployment of deep learning models often hinges on the availability, volume, and quality of annotated data. In this paper, we tackle the problems of efficient data labeling and annotation verification under the human-in-the-loop setting. We showcase that the latest advancements in the field of self-supervised visual representation learning can lead to tools and methods that benefit the curation and engineering of natural image datasets, reducing annotation cost and increasing annotation quality. We propose a unifying framework by leveraging self-supervised semi-supervised learning and use it to construct workflows for data labeling and annotation verification tasks. We demonstrate the effectiveness of our workflows over existing methodologies. On active learning task, our method achieves 97.0% Top-1 Accuracy on CIFAR10 with 0.1% annotated data, and 83.9% Top-1 Accuracy on CIFAR100 with 10% annotated data. When learning with 50% of wrong labels, our method achieves 97.4% Top-1 Accuracy on CIFAR10 and 85.5% Top-1 Accuracy on CIFAR100.

연구 동기 및 목표

• 최소한의 레이블 데이터로도 산업용 딥러닝 파이프라인에서 인간의 레이블링 비용을 줄이기 위해 효율적이고 활성 학습이 가능한 방법을 제공하기 위해.
• 자기지도 표현 학습과 레이블 전파를 통해 레이블 오류를 탐지하고 수정함으로써 레이블 품질을 향상시키기 위해.
• 근접 이웃 그래프를 통한 데이터 만능 구조를 활용하여 고도의 레이블 노이즈 상황에서도 강건한 모델 훈련을 가능하게 하기 위해.
• 심층 신경망의 재학습 비용을 피하고 실시간 호환 가능한 시스템을 설계하여 인간이 개입하는 데이터 정제 파이프라인에 적용 가능하게 하기 위해.
• 산업 응용 분야에서 레이블 효율적인 기계 학습과 데이터 정제를 위한 단순하면서도 효과적인 기준 모델을 확립하기 위해.

제안 방법

• 이 방법은 비지도 특징 학습을 위해 대조적 자기지도 학습 프레임워크인 BYOL을 사용하여, 레이블이 없는 데이터의 증강된 시각을 기반으로 불변 이미지 표현을 학습한다.
• 학습된 표현을 유사도 측정 기준으로 사용하여 희소한 k-최근접 이웃 그래프를 구성하며, 엣지 가중치로 온도 조정된 코사인 유사도를 사용한다.
• 대칭 정규화된 그래프 라플라시안을 통한 레이블 전파를 수행하며, 레이블이 있는 샘플에서 레이블이 없는 샘플으로 레이블을 반복적인 행렬 곱셈을 통해 전파한다.
• 근접 이웃 그래프를 활용하여 데이터 만능을 따라 신뢰할 수 있는 레이블 정보를 전파함으로써, 활성 학습과 노이즈 레이블 수정을 동시에 지원한다.
• 심층 네트워크 재학습을 피하기 위해 사전 훈련된 특징과 효율적인 행렬 연산을 사용함으로써, 인간이 개입하는 시스템에 실시간 통합이 가능하게 한다.
• k, T, 학습률과 같은 하이퍼파rameter는 그리드 서치를 통해 튜닝하며, 백본으로 ViT-B/16를 사용하고, 초기화에 BEiT을 활용한다.

실험 결과

연구 질문

• RQ1 자기지도 표현 학습과 레이블 전파를 조합할 경우, 고정밀도 모델 성능을 달성하기 위해 필요한 인간 레이블 예제의 수를 크게 줄일 수 있는가?
• RQ2 k-NN 그래프에서의 레이블 전파가 높은 레이블 노이즈 상황에서도 손상된 레이블을 얼마나 잘 수정하고, 모델 성능을 유지할 수 있는가?
• RQ3 기존의 활성 학습 기준 모델 대비 레이블 효율성과 수렴 속도 측면에서 제안된 방법은 어떠한가?
• RQ4 자기지도 특징에서 유도된 근접 이웃 그래프가 실시간 환경에서 신뢰할 수 있는 레이블 전파를 지원하기에 충분한 데이터 구조를 유지하는가?
• RQ5 모델 재학습이 필요 없이도 이 방법이 인간이 개입하는 데이터 정제 파이프라인에 원활하게 통합될 수 있는가?

주요 결과

• 레이블이 0.1%인 경우 CIFAR10에서 97.0%의 Top-1 정확도를 달성하여 이전의 활성 학습 방법들을 능가한다.
• CIFAR100에서는 레이블이 10%일 때 83.9%의 Top-1 정확도를 기록하며, 높은 레이블 효율성을 보여준다.
• 50%의 노이즈 레이블이 존재하는 경우, CIFAR10에서는 97.4%의 Top-1 정확도를 유지하고, CIFAR100에서는 85.5%의 정확도를 기록하며, 레이블 오염에 대한 강건성을 입증한다.
• 일致성 가정이 성립할 경우, 20회의 반복 내에 가짜 레이블의 노이즈가 0.8에서 0.2 이하로 감소한다.
• 절단 실험 결과, 레이블이 없는 데이터가 성능 향상에 크게 기여하며, 레이블이 없는 데이터에서 유도된 가짜 레이블을 제거할 경우 검증 정확도가 크게 떨어진다.
• 학습된 특징을 사용한 k-NN 분류 기준 모델은 CIFAR10에서 98.45%의 Top-1 정확도, CIFAR100에서는 89.58%의 정확도를 기록하여 자기지도 표현의 품질을 검증한다.