[논문 리뷰] When Labelled Data Hurts: Deep Semi-Supervised Classification with the Graph 1-Laplacian

Angelica I. Avilés-Rivero, Nicolas Papadakis외 4명|arXiv (Cornell University)|2019. 06. 20.

Advanced Neural Network Applications인용 수 4

한 줄 요약

이 논문은 제한된 레이블이 부여된 데이터에서 성능을 향상시키기 위해 정규화된 그래프 1-라플라시안의 비연속적인 ℓ₁ 노름을 사용하는 새로운 딥 세미-초반 학습 분류 프레임워크를 제안한다. 레이블이 부여된 데이터의 스무스함을 강제로 적용하고 클래스 사전 정보를 통해 데이터의 내재된 관계를 활용함으로써, CIFAR-10, CIFAR-100 및 ChestX-Ray14에서 최신 기술 수준의 성능을 달성하였으며, 전통적인 방법들을 능가하고 딥 러닝 기준선과도 맞먹는 성능을 보였다.

ABSTRACT

We consider the task of classifying when a significantly reduced amount of labelled data is available. This problem is of a great interest, in several real-world problems, as obtaining large amounts of labelled data is expensive and time consuming. We present a novel semi-supervised framework for multi-class classification that is based on the non-smooth $\ell_1$ norm of the normalised graph 1-Laplacian. Our transductive framework is framed under a novel functional with carefully selected class priors - that enforces a sufficiently smooth solution and strengthens the intrinsic relation between the labelled and unlabelled data. We provide theoretical results of our new optimisation model and show its connections with deep learning for handling large-scale datasets. We demonstrate through extensive experimental results on large datasets - CIFAR-10, CIFAR-100 and ChestX-Ray14 - that our method outperforms classic methods and readily competes with recent deep-learning approaches.

연구 동기 및 목표

• 데이터 레이블링이 비용이 많이 들고 시간이 오래 걸리는 실제 분류 작업에서 레이블이 제한된 문제를 해결한다.
• 레이블이 부여된 데이터와 레이블이 없는 데이터를 효과적으로 활용하여 분류 성능을 향상시키는 전이적 세미-초반 학습 프레임워크를 개발한다.
• 레이블이 부여된 데이터와 레이블이 없는 데이터 간의 내재된 관계를 강화하기 위해 클래스 사전 정보를 통합한 새로운 기능을 제안한다.
• 정규화된 그래프 1-라플라시안의 비연속적인 ℓ₁ 노름을 통해 해의 스무스함을 보장함으로써 일반화 능력을 향상시킨다.
• 극히 적은 레이블 데이터를 사용하더라도 대규모 데이터셋에서 딥 러닝 모델과 비교할 만한 뛰어난 성능을 보여준다.

제안 방법

• 레이블 전파에서 희소성과 강건성을 향상시키기 위해 ℓ₁ 노름을 사용한 정규화된 그래프 1-라플라시안 기반의 새로운 최적화 모델을 수립한다.
• 모델이 더 일관되고 내재된 데이터 구조를 향해 가도록 기능에 클래스 사전 정보를 통합한다.
• 기존의 ℓ₂ 기반 방법보다 지역 데이터 기하학을 더 잘 유지하는 방식으로, 그래프 1-라플라시안의 ℓ₁ 노름을 최소화함으로써 해의 스무스함을 강제로 적용한다.
• 레이블이 부여된 데이터와 레이블이 없는 데이터의 공동 구조를 기반으로 레이블이 없는 샘플의 레이블을 예측하는 전이적 프레임워크를 설계한다.
• 제안된 모델과 딥 러닝 아키텍처 간의 이론적 연결 고리를 확립하여 대규모 데이터셋에 대한 확장성을 뒷받침한다.
• 고차원 설정에서 수렴성과 안정성을 보장하는 새로운 알고리즘적 접근을 사용해 기능을 최적화한다.

실험 결과

연구 질문

• RQ1 레이블이 부족한 상황에서 비연속적인 ℓ₁ 기반 그래프 정규화 기법이 세미-초반 학습 분류 성능을 향상시킬 수 있는가?
• RQ2 클래스 사전 정보를 그래프 1-라플라시안 프레임워크에 통합할 경우, 레이블이 부여된 데이터와 레이블이 없는 데이터 간의 관계는 어떻게 향상되는가?
• RQ3 제안된 방법이 벤치마크 데이터셋에서 기존의 세미-초반 학습 방법보다 어느 정도 뛰어난가?
• RQ4 극히 적은 레이블 데이터를 사용함에도 불구하고 제안된 프레임워크가 딥 러닝 모델과 경쟁 가능한 성능을 달성할 수 있는가?
• RQ5 제안된 모델과 딥 러닝 아키텍처 간의 이론적 및 실증적 연결 고리는 대규모 데이터 처리에서 어떻게 작용하는가?

주요 결과

• 제안된 방법은 레이블 데이터를 크게 줄였음에도 불구하고 CIFAR-10과 CIFAR-100에서 최신 기술 수준의 성능을 달성하였으며, 기존의 세미-초반 학습 방법들을 능가하였다.
• ChestX-Ray14 데이터셋에서 이 방법은 뛰어난 일반화 능력과 강건성을 보였으며, 딥 러닝 기준선과 경쟁 가능한 결과를 달성하였다.
• 그래프 1-라플라시안에 ℓ₁ 노름을 사용함으로써 ℓ₂ 기반 대안에 비해 더 희소하고 강건한 레이블 전파가 가능하였다.
• 클래스 사전 정보의 통합은 데이터의 내재된 구조를 강화하고, 레이블이 없는 샘플 간의 예측 일관성을 향상시켰다.
• 이론적 분석을 통해 모델이 딥 러닝 프레임워크와 호환됨을 확인하였으며, 이는 대규모 데이터셋에 대한 확장성을 보장한다.
• 광범위한 실험을 통해, 훈련 데이터의 극히 소수만 레이블이 부여되어도 이 방법이 높은 정확도를 유지함을 확인하였다.