[논문 리뷰] Data Programming using Continuous and Quality-Guided Labeling Functions

Oishik Chatterjee, Ganesh Ramakrishnan외 1명|arXiv (Cornell University)|2019. 11. 22.

Rough Sets and Fuzzy Logic참고 문헌 21인용 수 7

한 줄 요약

이 논문은 이산 레이블이 아닌 연속적인 점수를 출력하는 라벨링 함수(LFs)를 확장한 데이터 프로그래밍 프레임워크인 CAGE를 소개한다. 이는 더 유연하고 의미적으로 민감한 약한 감독을 가능하게 한다. 사용자가 제공한 품질 가이드와 새로운 학습 목표를 통합함으로써 CAGE는 기준 방법 대비 모델의 안정성과 성능을 향상시켜, 검증 데이터 없이도 다섯 가지 작업에서 높은 재현율과 일관된 정확도를 달성한다.

ABSTRACT

Scarcity of labeled data is a bottleneck for supervised learning models. A paradigm that has evolved for dealing with this problem is data programming. An existing data programming paradigm allows human supervision to be provided as a set of discrete labeling functions (LF) that output possibly noisy labels to input instances and a generative modelfor consolidating the weak labels. We enhance and generalize this paradigm by supporting functions that output a continuous score (instead of a hard label) that noisily correlates with labels. We show across five applications that continuous LFs are more natural to program and lead to improved recall. We also show that accuracy of existing generative models is unstable with respect to initialization, training epochs, and learning rates. We give control to the data programmer to guide the training process by providing intuitive quality guides with each LF. We propose an elegant method of incorporating these guides into the generative model. Our overall method, called CAGE, makes the data programming paradigm more reliable than other tricks based on initialization, sign-penalties, or soft-accuracy constraints.

연구 동기 및 목표

• 이산 라벨링 함수의 한계를 해결하기 위해, 이는 엄격한 사전 매칭으로 인해 의미적으로 유사한 용어를 놓칠 수 있음.
• 레이블 집계를 위한 생성 모델의 신뢰성과 안정성을 향상시키기 위해, 초기화, 최적화 학습률, 학습 에포크에 민감한 문제를 해결하기 위함.
• 데이터 프로그래머가 해석 가능한, 품질 가이드 기반의 학습 과정 제어를 가능하게 하여, 해석할 수 없는 하이퍼파rameter에 대한 의존도를 줄이기 위함.
• 진정한 레이블과 상관관계가 있는 실수값 점수를 출력하는 연속적 LFs를 지원함으로써 데이터 프로그래밍 패러다임을 일반화하기 위함.
• 사용자가 제공한 품질 가이드를 생성 모델에 원칙적으로 통합하여 수렴성과 성능을 향상시키는 방법 설계

제안 방법

• 사전 학습된 워드 임베딩의 코사인 유사도와 같은 유사도 측정 기반으로 실수값 점수를 출력하는 연속적 라벨링 함수(LFs)를 제안하며, 이는 딱딱한 레이블 대신이다.
• 이산적이고 연속적인 LFs를 함께 모델링하기 위해 무방향적이고 전역적으로 정규화된 포텐셜을 사용하는 생성 모델을 도입하여, 더 나은 LFs 상호작용 모델링을 가능하게 한다.
• 학습 목표에 사용자가 제공한 품질 가이드를 소프트 제약 조건으로 통합하며, 기호 페널티와 마진널라이제이션 정규화를 사용해 최적화의 안정성을 높인다.
• 레이블과 라벨링 함수의 공동 가능도 모델을 사용하며, 정규화된 최대우도 추정법을 통해 모델 파라미터를 학습한다.
• LF 마진에 대해 데이터에 의존하지 않는 정규화 기법과, 품질 가이드 통합을 위한 데이터 기반 방법을 동시에 사용하며, 실험적으로 평가한다.
• 다양한 초기화 방법과 하이퍼파rameter에 대해 안정성을 확보하면서도 연속적 및 이산적 LF 신호를 통합하는 학습 목표를 설계한다.

실험 결과

연구 질문

• RQ1 약한 지도 학습에서 실수값 점수를 출력하는 연속적 라벨링 함수가 이산적 LFs보다 재현율과 커버리지 측면에서 향상되는가?
• RQ2 사용자가 제공한 품질 가이드의 포함 여부가 레이블 집계에서 생성 모델의 안정성과 정확도에 어떤 영향을 미치는가?
• RQ3 제안된 CAGE 프레임워크가 다양한 초기화 방법, 학습률, 학습 에포크에 대해 일관성 있는 성능을 보일 수 있는가?
• RQ4 품질 가이드가 서브히어스틱 하이퍼파rameter(예: 기호 페널티 또는 소프트 정확도 제약)를 대체하기 위해 효과적으로 학습 과정에 통합될 수 있는가?
• RQ5 전역적으로 정규화된 포텐셜을 사용해 연속적 및 이산적 LFs를 함께 모델링하는 것이 방향성 베이지안 네트워크 접근보다 더 효과적인가?

주요 결과

• CAGE는 연속적 LFs를 사용해 다섯 가지 다양한 응용 분야에서 이산적 LFs보다 더 높은 재현율을 달성하며, 워드 임베딩 기반의 부드러운 매칭의 이점을 입증한다.
• 데이터에 의존하지 않는 정규화 기법을 적용한 CAGE 모델(CAGE-C)이 다른 변형들(기호 페널티 또는 데이터 기반 가이드를 포함한 것들)보다 가장 신뢰할 수 있는 성능 향상을 보였다.
• 무방향적이고 전역적으로 정규화된 포텐셜을 사용하는 생성 모델이 방향성 베이지안 네트워크보다 LFs 간의 상호작용을 더 효과적으로 포착하여, 모든 작업에서 성능 향상을 이끌어냈다.
• 사용자가 제공한 품질 가이드가 학습 안정성과 모델 성능을 크게 향상시키며, 특히 적절한 정규화와 함께 사용될 경우 초기화 및 하이퍼파rameter 민감도를 감소시켰다.
• 모델이 검증 데이터 없이도 다섯 가지 작업 전반에서 F1 및 정확도 측면에서 일관된 향상을 이룩했다.
• 제거 실험을 통해 局부 정규화가 연속적 LF 점수 모델링에 핵심적임을 확인하였으며, 전역 정규화가 LFs 간 의존성 포착 능력을 향상시킨다.