[논문 리뷰] Data Programming using Semi-Supervision and Subset Selection.

Ayush Maheshwari, Oishik Chatterjee외 3명|arXiv (Cornell University)|2020. 08. 22.

Machine Learning and Algorithms참고 문헌 17인용 수 5

한 줄 요약

이 논문은 데이터 프로그래밍과 준감독 학습을 결합한 공동 학습 프레임워크를 제안하여, 레이블링 함수로부터의 약한 감독과 미레이블된 데이터를 활용해 모델 성능을 향상시킨다. 또한 고품질의 레이블된 예제를 식별하기 위한 서브셋 선택 전략을 도입하여, 합성 및 실세계 데이터셋에서 최신 기술 수준의 성능을 입증한다.

ABSTRACT

The paradigm of data programming~\cite{bach2019snorkel} has shown a lot of promise in using weak supervision in the form of rules and labelling functions to learn in scenarios where labelled data is not available. Another approach which has shown a lot of promise is that of semi-supervised learning where we augment small amounts of labelled data with a large unlabelled dataset. In this work, we argue that by not using any labelled data, data programming based approaches can yield sub-optimal performance, particularly, in cases when the labelling functions are noisy. The first contribution of this work is to study a framework of joint learning which combines un-supervised consensus from labelling functions with semi-supervised learning and \emph{jointly learns a model} to efficiently use the rules/labelling functions along with semi-supervised loss functions on the feature space. Next, we also study a subset selection approach to \emph{select} the set of examples which can be used as the labelled set. We evaluate our techniques on synthetic data as well as four publicly available datasets and show improvement over state-of-the-art techniques\footnote{Source code of the paper at \url{this https URL}}.

연구 동기 및 목표

• 레이블이 없는 경우, 특히 노이즈가 많은 레이블링 함수에서 데이터 프로그래밍의 성능이 열등한 문제를 해결한다.
• 레이블링 함수의 무 supervision 공감과 준감독 학습을 통합하여 모델의 일반화 성능을 향상시킨다.
• 가장 신뢰할 수 있는 예제를 식별하고 사용할 수 있는 레이블된 훈련 세트로 활용하기 위해 서브셋 선택 방법을 개발한다.
• 제안된 프레임워크가 합성 및 실세계 데이터셋에서 최신 기술 수준의 방법들에 비해 성능 향상을 보이는지 평가한다.

제안 방법

• 레이블링 함수의 공감과 특성 공간 상의 준감독 손실 함수를 결합한 공동 학습 목표를 수립한다.
• 미레이블된 데이터를 활용하여 약한 감독 신호와 특성 공간 내부의 구조를 동시에 활용하는 모델을 훈련시킨다.
• 고신뢰도 서브셋을 식별하기 위해 서브셋 선택 메커니즘을 적용한다.
• 엔드 투 엔드 미분 가능한 훈련을 통해 레이블링 함수 가중치와 모델 파rameter를 동시에 최적화한다.
• 모델의 불확실성과 레이블링 함수 간의 일관성을 기반으로 서브셋 선택을 이끌어낸다.
• 전체 미레이블된 데이터셋으로부터 준감독 정규화를 포함하면서도, 선택된 서브셋을 기반으로 최종 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 레이블이 없는 경우, 데이터 프로그래밍과 준감독 학습을 결합하면 모델 성능 향상에 기여하는가?
• RQ2 레이블링 함수 가중치와 모델 파rameter를 함께 최적화하는 것이 별도로 최적화하는 것보다 성능에 어떤 영향을 미치는가?
• RQ3 서브셋 선택은 레이블된 세트의 품질과 후속 모델 정확도에 어떤 영향을 미치는가?
• RQ4 제안된 방법들은 다양한 벤치마크 데이터셋에서 최신 기술 수준의 기법들과 비교해 어떻게 성능을 내는가?
• RQ5 공동 프레임워크는 어떤 상황에서 표준 데이터 프로그래밍 또는 준감독 학습만을 사용하는 것보다 우월한가?

주요 결과

• 준감독 학습을 통해 미레이블된 데이터를 활용함으로써, 표준 데이터 프로그래밍에 비해 공동 학습 프레임워크가 모델 성능을 크게 향상시킨다.
• 서브셋 선택 접근법은 고품질의 예제를 효과적으로 식별하여, 더 나은 일반화 성능과 레이블된 세트의 노이즈 감소를 이끈다.
• 공개된 네 개의 데이터셋과 합성 데이터에 대한 실증적 평가 결과, 최신 기술 수준의 방법들보다 일관된 성능 향상을 보였다.
• 미레이블된 데이터와 공감 패tern을 활용함으로써, 노이즈가 많은 레이블링 함수에 대해서도 프레임워크가 강건함을 입증했다.
• 레이블링 함수 가중치와 모델 파rameter를 함께 최적화함으로써, 순차적 또는 별도의 훈련보다 더 신뢰할 수 있는 예측을 도출한다.
• 약한 감독과 준감독 학습의 조합은 각각을 별도로 사용하는 것보다 더 높은 성능을 낸다.