[논문 리뷰] Interactive Weak Supervision: Learning Useful Heuristics for Data Labeling

Benedikt Boecking, Willie Neiswanger외 2명|arXiv (Cornell University)|2020. 12. 10.

Machine Learning and Data Classification인용 수 16

한 줄 요약

이 논문은 데이터 포인트가 아닌 후보 레이블링 함수(LFs)에 대해 도메인 전문가를 대상으로 상호작용적으로 질문함으로써 효과적인 레이블링 히우리즘을 자동으로 발견하는 새로운 프레임워크인 상호작용 약한 감독(IWS)을 소개한다. LFs에 대한 사용자 피드백에서 학습함으로써 IWS는 전통적인 활성 학습보다 훨씬 적은 수의 사용자 쿼리로 경쟁적인 모델 성능을 달성하며, 약한 감독 학습 환경에서 뛰어난 효율성과 효과성을 입증한다.

ABSTRACT

Obtaining large annotated datasets is critical for training successful machine learning models and it is often a bottleneck in practice. Weak supervision offers a promising alternative for producing labeled datasets without ground truth annotations by generating probabilistic labels using multiple noisy heuristics. This process can scale to large datasets and has demonstrated state of the art performance in diverse domains such as healthcare and e-commerce. One practical issue with learning from user-generated heuristics is that their creation requires creativity, foresight, and domain expertise from those who hand-craft them, a process which can be tedious and subjective. We develop the first framework for interactive weak supervision in which a method proposes heuristics and learns from user feedback given on each proposed heuristic. Our experiments demonstrate that only a small number of feedback iterations are needed to train models that achieve highly competitive test set performance without access to ground truth training labels. We conduct user studies, which show that users are able to effectively provide feedback on heuristics and that test set results track the performance of simulated oracles.

연구 동기 및 목표

• 약한 감독 환경에서 효과적인 레이블링 함수(LFs)를 수작업으로 작성하는 데 소요되는 높은 정서적 부담과 시간 비용을 해결하기 위해.
• 사용자에게 개별 데이터 포인트가 아닌 LFs에 대한 피드백을 제공하도록 하여 고비용 수작업 데이터 레이블링에 대한 의존도를 줄이기 위해.
• 사용자 피드백에서 학습하여 높은 정확도를 가진 LFs를 효율적으로 식별하는 상호작용 기반 프레임워크를 개발하기 위해.
• 제한된 전문가 시간을 고려할 때 실세계 응용에서 약한 감독의 확장성과 실용성을 향상시키기 위해.
• 사용자 피드백이 LFs에 제공될 경우, 전체 지표 데이터로 훈련된 모델에 경쟁적인 성능을 보이는 최종 모델을 도출할 수 있음을 입증하기 위해.

제안 방법

• 후보 레이블링 함수(LFs)를 자동으로 제안하고, 그 정확도와 유용성에 대해 전문가의 피드백을 요청한다.
• 사용자 판단에서 학습하는 피드백 모델이, 잠재적인 진정한 레이블을 추정하는 확률적 레이블 모델을 사용하여 정확도가 높은 LFs를 예측한다.
• 최종 분류기를 레이블 모델에서 추정한 레이블을 기반으로 훈련하기 위해 노이즈 인식 손실 함수를 사용하며, Ratner 등(2016)의 방법을 따르고 있다.
• 매개변수 θ(1)과 θ(2)를 가진 구조적 지수가우스 가족 모델을 사용하여 LFs의 정확도와 레이블 성향(레이블링 함수가 얼마나 자주 기권하거나 투표하는지)을 모델링한다.
• 활성 학습 원칙을 데이터 포인트가 아닌 LFs에 적용함으로써 사용자 상호작용의 수를 줄이고, 이를 통해 상호작용 효율성을 향상시킨다.
• 레이블 모델은 최대우도 추정법을 사용하여 훈련되며, LFs의 정확도 및 성향 매개변수에 대해 닫힌 형태의 해를 유도한다.

실험 결과

연구 질문

• RQ1 레이블링 함수(LFs)에 대한 상호작용 피드백이 데이터 포인트에 대한 전통적 활성 학습보다 더 효율적인가?
• RQ2 사용자가 자동으로 생성된 LFs의 품질을 신뢰성 있게 평가할 수 있는가?
• RQ3 LFs에 대한 사용자 피드백에서 학습함으로써 경쟁적인 성능을 보이는 최종 모델을 도출할 수 있는가?
• RQ4 LFs에 대한 사용자 레이블링 수와 데이터 포인트 레이블링 수를 비교할 때, 성능 및 효율성 측면에서 어떤 차이가 있는가?
• RQ5 이 프레임워크는 LFs의 정확도와 레이블 성향을 동시에 효과적으로 모델링하여 레이블 추정을 향상시킬 수 있는가?

주요 결과

• IWS는 200개의 LF 레이블링 이후 평균 테스트 세트 AUC를 달성하였으며, 이는 기존 활성 학습에서 최소 3배 이상의 데이터 포인트 레이블링이 필요했음을 의미한다.
• LF 피드백에 대한 사용자 응답 시간은 데이터 포인트 레이블링보다 짧았으며, 이는 낮은 정서적 부담을 의미한다.
• 사용자 연구를 통해 전문가들이 자동 생성된 LFs의 품질에 대해 정확하고 신뢰할 수 있는 피드백을 제공할 수 있음을 확인했다.
• 최종 모델의 테스트 세트 성능은 시뮬레이션 오라클의 성능을 밀접하게 따라가며, 모델의 학습 능력을 검증했다.
• 이 프레임워크는 뛰어난 샘플 효율성을 보였으며, 최소한의 전문가 상호작용으로도 높은 성능을 달성했다.
• 레이블 모델이 약한 감독과 LFs에 대한 사용자 피드백만을 사용하여 잠재적인 진정한 레이블을 추정함으로써 강력한 최종 분류기 성능을 달성했다.