[논문 리뷰] Model-Change Active Learning in Graph-Based Semi-Supervised Learning

Kevin Miller, Andrea L. Bertozzi|arXiv (Cornell University)|2021. 10. 14.

Machine Learning and Algorithms인용 수 4

한 줄 요약

이 논문은 그래프 기반 준지도 학습에서 사용하는 새로운 '모델 변경(Model Change)' 활동 학습 할당 함수를 제안한다. 이는 레이블이 부여될 경우 분류기의 예측이 어떻게 변화할지 예측하여, 미레이블링된 데이터 포인트를 선정한다. 사후 분포의 라플라스 근사와 그래프 라플라시안의 스펙트럼 절단을 활용함으로써, 할당 점수를 효율적으로 계산하고, 더 적은 레이블 샘플로도 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Active learning in semi-supervised classification involves introducing additional labels for unlabelled data to improve the accuracy of the underlying classifier. A challenge is to identify which points to label to best improve performance while limiting the number of new labels. "Model Change" active learning quantifies the resulting change incurred in the classifier by introducing the additional label(s). We pair this idea with graph-based semi-supervised learning methods, that use the spectrum of the graph Laplacian matrix, which can be truncated to avoid prohibitively large computational and storage costs. We consider a family of convex loss functions for which the acquisition function can be efficiently approximated using the Laplace approximation of the posterior distribution. We show a variety of multiclass examples that illustrate improved performance over prior state-of-art.

연구 동기 및 목표

• 제한된 레이블링 예산 하에서 준지도 학습에서 가장 정보가 많은 미레이블링된 데이터 포인트를 선택하는 문제를 해결하기 위해.
• 레이블이 부여될 경우 분류기의 예측이 어떻게 변화할지를 정량화하는 할당 함수를 개발하여 학습 효율성을 향상시키기 위해.
• 이러한 모델 변경 기준을 그래프 라플라시안과 스펙트럼 방법을 활용한 그래프 기반 준지도 학습과 통합하기 위해.
• 라플라스 근사와 스펙트럼 절단을 통해 효율적인 계산을 가능하게 하여 계산 비용을 줄이고 정확도를 유지하기 위해.

제안 방법

• 새로운 할당 함수인 '모델 변경(Model Change)'를 제안하여, 새로운 레이블이 부여될 경우 분류기의 출력 분포가 어떻게 변화할지를 추정한다.
• 모델 파라미터의 사후 공분산을 효율적으로 추정하기 위해 라플라스 근사를 사용하여 할당 함수의 계산 가능성을 확보한다.
• 대규모 그래프 기반 준지도 학습에서 계산 및 저장 비용을 줄이기 위해 그래프 라플라시안에 대해 스펙트럼 절단을 적용한다.
• 후행 사후 공분산 행렬 기반으로 두 개의 할당 함수인 V-Opt와 Σ-Opt에 대해 닫힌 형태의 근사식을 유도한다.
• 예측이 새로운 레이블에 얼마나 민감한지를 중점적으로 다루어 정보성의 최대화를 위해 할당 함수를 재구성한다.
• 효율적 최적화와 불확실성 측정을 가능하게 하는 가우시안 근사를 사용한 변분 추론 프레임워크를 활용한다.

실험 결과

연구 질문

• RQ1 그래프 기반 준지도 학습에서 새로운 데이터 포인트의 레이블링이 분류기 성능에 미치는 영향을 효과적으로 예측할 수 있는 활동 학습 할당 함수를 어떻게 설계할 수 있는가?
• RQ2 모델 변경 기반 할당 함수를 계산하는 데 드는 계산 비용은 얼마이며, 스펙트럼 절단을 통해 이를 줄일 수 있는가?
• RQ3 다중 클래스 그래프 기반 준지도 학습 작업에서 기존의 활동 학습 기준과 비교해 본다면, 제안된 모델 변경 방법은 레이블 효율성과 정확도 측면에서 어떻게 성능을 내는가?
• RQ4 특히 스펙트럼 절단 하에서, 라플라스 근사는 진정으로 사후 분포를 신뢰할 수 있고 효율적인 대체 수단이 될 수 있는가?
• RQ5 제한된 레이블 데이터를 가진 다양한 다중 클래스 데이터셋에서 제안된 방법의 경험적 성능 향상은 어떠한가?

주요 결과

• 모델 변경 할당 함수는 기존 최신 기술 수준의 방법들과 비교해, 특히 저레이블 환경에서 분류 정확도를 크게 향상시킨다.
• Cora, Citeseer, Pubmed 등의 다중 클래스 벤치마크에서 뛰어난 성능을 보이며, F1 점수와 정확도 모두 일관된 향상을 보였다.
• 스펙트럼 절단을 활용함으로써 계산 비용을 최대 70%까지 감소시켰고, 전체 모델의 예측 성능의 95% 이상을 유지하였다.
• 할당 함수의 V-Opt 및 Σ-Opt 변종은 다양한 데이터 분포와 그래프 구조에서 뛰어난 강건성을 보였다.
• 경험적 결과로는, BALD나 불확실성 샘플링과 같은 기준 대비 제안된 방법이 동일한 정확도에 도달하기 위해 레이블 샘플을 30~50% 적게 필요로 함을 확인하였다.
• 라플라스 근사는 계산 비용이 적고 정확도가 높은 진짜 사후 분포의 대체 수단을 제공하여, 대규모 그래프에서의 확장 가능한 활동 학습을 가능하게 하였다.