[논문 리뷰] Training Subset Selection for Weak Supervision

Hunter Lang, Aravindan Vijayaraghavan외 1명|arXiv (Cornell University)|2022. 06. 06.

Machine Learning and Data Classification인용 수 6

한 줄 요약

이 논문은 사전 훈련된 표현과 컷 통계량을 사용하여 약한 레이블이 부여된 데이터에서 더 높은 정밀도를 가진 고품질의 훈련 예제를 선택하는 간단하고 즉시 사용 가능한 서브셋 선택 방법을 제안한다. 이 방법은 지도 레이블이 필요 없이 다양한 데이터셋과 모델에서 최대 19%p의 정확도 향상을 이룬다.

ABSTRACT

Existing weak supervision approaches use all the data covered by weak signals to train a classifier. We show both theoretically and empirically that this is not always optimal. Intuitively, there is a tradeoff between the amount of weakly-labeled data and the precision of the weak labels. We explore this tradeoff by combining pretrained data representations with the cut statistic (Muhlenbach et al., 2004) to select (hopefully) high-quality subsets of the weakly-labeled training data. Subset selection applies to any label model and classifier and is very simple to plug in to existing weak supervision pipelines, requiring just a few lines of code. We show our subset selection method improves the performance of weak supervision for a wide range of label models, classifiers, and datasets. Using less weakly-labeled data improves the accuracy of weak supervision pipelines by up to 19% (absolute) on benchmark tasks.

연구 동기 및 목표

• 기존 약한 감독 파이프라인에서 모든 약한 레이블이 부여된 데이터를 사용할 경우 낮은 정밀도의 예제가 포함되어 성능이 최적화되지 않는 문제를 해결하기 위해.
• 약한 감독에서 커버리지(데이터 양)와 정밀도(레이블 품질) 사이의 상호보완적 관계를 탐색하기 위해.
• 지도 레이블이 필요 없고 기존 레이블 모델 또는 분류기의 수정 없이도 모듈러하고 즉시 통합 가능한 고품질 훈련 서브셋을 선택하는 방법을 개발하기 위해.
• 약한 레이블이 부여된 데이터에서 더 작은, 더 높은 정밀도의 서브셋을 사용할 경우 최종 분류기 성능이 향상됨을 보여주기 위해.

제안 방법

• 이 방법은 사전 훈련된 표현(예: BERT)을 사용하여 약한 레이블이 부여된 예제를 잠재 공간에 임bedding한다.
• 이웃 예제와의 일致성 여부를 평가하기 위해 컷 통계량을 적용하여 동일한 의사 레이블을 가진 예제들이 표현 공간에서 서로 밀집되어 있는 서브셋을 식별한다.
• 컷 통계량은 동일한 레이블을 가진 이웃 수가 기대되는 랜덤성 대비 얼마나 높은지를 기반으로 점수를 계산하며, 일관된 예측의 클러스터를 선호한다.
• 커버리지 하이퍼파라미터 β에 의해 결정된 상위 점수를 가진 예제의 일부를 최종 훈련 서브셋으로 선택한다.
• 이 방법은 모듈러하며, 레이블 모델 출력과 최종 모델 훈련 사이에 삽입 가능하며, 어떤 레이블 모델과 분류기와도 호환된다.
• Snorkel이나 ASTRA와 같은 기존 약한 감독 파이프라인에 통합하기 위해 몇 줄의 코드만으로도 구현 가능하다.

실험 결과

연구 질문

• RQ1 약한 감독 파이프라인에서 모든 약한 레이블이 부여된 데이터를 사용할 경우 레이블 노이즈로 인해 성능이 최적화되지 않는가?
• RQ2 정밀도를 우선시하는 데이터 선택 방법이 커버리지 중심의 접근보다 약한 감독 성능을 향상시킬 수 있는가?
• RQ3 지도 레이블에 접근할 수 없더라도 컷 통계량이 고품질 훈련 서브셋을 효과적으로 식별할 수 있는가?
• RQ4 컷 통계량을 통한 서브셋 선택은 다양한 데이터셋, 레이블 모델, 분류기에서 전체 데이터 훈련과 비교해 어떻게 성능을 냈는가?
• RQ5 이 방법은 ASTRA와 같은 반복적 약한 감독 프레임워크에 효과적으로 통합될 수 있는가?

주요 결과

• 제안된 서브셋 선택 방법은 벤치마크 작업 전반에서 최대 19%p의 정확도 향상을 이끌어내어 뚜렷한 성능 향상을 입증하였다.
• TREC 및 SemEval 데이터셋에서 컷 통계량을 ASTRA와 결합함으로써 10개의 레이블 예제로 정확도를 82.70%에서 91.10%로, 20개의 레이블 예제로는 86.53%에서 90.27%로 향상시켰다.
• 커버리지 하이퍼파라미터 β를 튜닝하지 않더라도 여러 데이터셋과 모델에서 전체 데이터 훈련보다 끊임없이 뛰어난 성능을 보였다.
• 컷 통계량은 사전 훈련된 표현의 기하학적 구조를 활용하여 의사 레이블이 이웃 예제와 일관된 예제를 효과적으로 식별한다.
• 이 방법은 모듈러하고 어떤 레이블 모델과 분류기와도 호환되며, 기존 파이프라인에 통합하기 위해 최소한의 코드 수정만으로도 구현 가능하다.
• 다양한 랜덤 시드와 하이퍼파라미터 설정에서도 성능 향상이 안정적으로 관찰되었으며, 검증 세트에서 β를 튜닝하지 않더라도 개선 효과가 나타났다.