[논문 리뷰] A Survey on Programmatic Weak Supervision

Jieyu Zhang, Cheng-Yu Hsieh외 3명|arXiv (Cornell University)|2022. 02. 11.

Machine Learning and Data Classification인용 수 40

한 줄 요약

프로그램적 약한 감독(PWS)에 관한 포괄적 고찰로, 라벨링 함수, 라벨 모델, 엔드 모델, 결합 모델, 그리고 PWS가 관련 학습 패러다임, 데이터셋 및 응용과 어떻게 통합되는지 상세히 다룬다.

ABSTRACT

Labeling training data has become one of the major roadblocks to using machine learning. Among various weak supervision paradigms, programmatic weak supervision (PWS) has achieved remarkable success in easing the manual labeling bottleneck by programmatically synthesizing training labels from multiple potentially noisy supervision sources. This paper presents a comprehensive survey of recent advances in PWS. In particular, we give a brief introduction of the PWS learning paradigm, and review representative approaches for each component within PWS's learning workflow. In addition, we discuss complementary learning paradigms for tackling limited labeled data scenarios and how these related approaches can be used in conjunction with PWS. Finally, we identify several critical challenges that remain under-explored in the area to hopefully inspire future research directions in the field.

연구 동기 및 목표

• 프로그램적 약한 감독(PWS) 학습 패러다임과 레이블링 노력을 줄이려는 동기를 소개한다.
• 라벨링 함수, 라벨 모델, 엔드 모델, 결합 모델을 포함한 PWS 워크플로의 구성요소를 검토한다.
• 라벨링 함수 및 의존 구조의 실용적 생성에 대해 논의하고, 다양한 작업 및 모달리티로의 확장을 조사한다.
• 보완 학습 패러다임을 탐구하고 PWS의 과제와 향후 방향을 개요한다.

제안 방법

• PWS 방법을 2단계(라벨 모델 먼저 엔드 모델)와 1단계(결합 모델)로 분류한다.
• 라벨링 함수 유형(사용자 작성 휴리스틱, 지식 베이스, 사전 학습 모델, 군중 라벨, 제3자 도구)을 조사한다.
• 라벨 모델을 확률적 그래프 모델로 설명하고 LF 의존성을 어떻게 포함하는지 다룬다.
• 확률적 레이블로 학습하고 LF가 다루지 않는 데이터를 처리하는 엔드 모델을 자세히 설명한다(예: 자기학습).
• 인스턴스 의존적 라벨링 모델링을 포함하여 라벨 및 엔드 모델을 동시에 학습시키는 결합 모델을 설명한다.
• 시퀀스 태깅, 일반 작업, 다중 작업 학습으로의 확장을 요약하고 자동/인터랙티브/가이드형 LF 생성에 대해 논의한다.

실험 결과

연구 질문

• RQ1 약한 감독 소스(라벨링 함수)를 데이터 효율적으로 실제 정답 라벨을 회복하도록 어떻게 통합할 수 있는가?
• RQ2 다른 학습 작업(분류, 시퀀스 태깅 등)에 사용 가능한 라벨 모델과 엔드 모델은 무엇이며 LF 의존성을 어떻게 처리하는가?
• RQ3 인간 노력을 줄이기 위한 라벨링 함수의 생성 및 개선(자동적, 상호작용적, 가이드형)에 대한 효과적 전략은 무엇인가?
• RQ4 제한된 라벨 데이터에 대처하기 위해 PWS를 능동 학습, 전이 학습, SSL 등 보완적 접근 방식과 어떻게 통합할 수 있는가?
• RQ5 더 복잡한 작업과 다중 모달 데이터로 PWS를 확장하는 데 있어 도전과제와 향후 방향은 무엇이며 윤리적이고 신뢰할 수 있는 AI를 보장하는가?

주요 결과

• 라벨 모델은 노이즈가 있는 LF 출력을 확률적 라벨 또는 확정 라벨로 집계하고 LF 의존성을 고려한다.
• 결합 모델은 신경망을 활용하여 라벨 모델과 엔드 모델을 동시 학습시켜 의존성을 암묵적으로 포착한다.
• LF 생성은 자동적이거나 상호작용적이거나 안내형일 수 있어 도메인 전문가의 부담을 줄인다.
• 확장은 이제 시퀀스 태깅과 일부 일반 작업을 지원하며, 연속적이고 간접적인 LF를 처리하는 방법을 포함한다.
• PWS는 능동 학습, 전이 학습, SSL을 보완하여 더 넓은 데이터 효율 학습 도구 상자를 형성한다.
• 사례 및 데이터셋은 PWS의 도메인 및 다중 모달리티 전반에 걸친 적용 가능성을 보여준다.