[논문 리뷰] Data Programming by Demonstration: A Framework for Interactively Learning Labeling Functions

Sara Evensen, Chang Ge외 2명|arXiv (Cornell University)|2020. 09. 03.

Advanced Database Systems and Queries참고 문헌 38인용 수 4

한 줄 요약

이 논문은 데이터 프로그래밍을 위한 데이터 프로그래밍 by 예시(DPBD) 프레임워크를 소개한다. 이 프레임워크는 비전문가 사용자가 시각적 애너테이션을 통해 약한 감독을 위한 레이블링 함수를 생성할 수 있도록 하여 수동 규칙 작성에 대한 의존도를 낮춘다. Ruler 시스템은 사용자가 제공한 스파니어 레벨 애너테이션과 관계를 기반으로 일반화된 레이블링 규칙을 합성하여 기존 데이터 프로그래밍 수준의 성능을 달성하면서도 사용자 연구에서 사용자 만족도와 사용성 측면에서 뚜렷한 향상을 이룬다.

ABSTRACT

Data programming is a programmatic weak supervision approach to efficiently curate large-scale labeled training data. Writing data programs (labeling functions) requires, however, both programming literacy and domain expertise. Many subject matter experts have neither programming proficiency nor time to effectively write data programs. Furthermore, regardless of one's expertise in coding or machine learning, transferring domain expertise into labeling functions by enumerating rules and thresholds is not only time consuming but also inherently difficult. Here we propose a new framework, data programming by demonstration (DPBD), to generate labeling rules using interactive demonstrations of users. DPBD aims to relieve the burden of writing labeling functions from users, enabling them to focus on higher-level semantics such as identifying relevant signals for labeling tasks. We operationalize our framework with Ruler, an interactive system that synthesizes labeling rules for document classification by using span-level annotations of users on document examples. We compare Ruler with conventional data programming through a user study conducted with 10 data scientists creating labeling functions for sentiment and spam classification tasks. We find that Ruler is easier to use and learn and offers higher overall satisfaction, while providing discriminative model performances comparable to ones achieved by conventional data programming.

연구 동기 및 목표

• 데이터 프로그래밍의 높은 진입 장벽을 해결하기 위해, 레이블링 함수를 작성하기 위해 프로그래밍 능력과 심층적인 도메인 전문 지식이 요구되는 문제를 해결한다.
• 수동으로 레이블링 함수를 작성하는 데서 오는 인지적 및 기술적 부담을 줄이기 위해, 레이블링 결정의 상호작용적이고 시각적인 예시로의 초점을 이동시킨다.
• 프로그래밍 능력이 없는 전문가가 데이터 예시와의 직관적 상호작용을 통해 도메인 지식을 효과적으로 기여할 수 있도록 한다.
• 사용자 상호작용을 자동으로 일반화하여 재사용 가능하고 의미적으로 유의미한 레이블링 규칙으로 변환하는 시스템을 개발한다.

제안 방법

• DPBD 프레임워크는 특정 데이터 예시에서 사용자 상호작용—스파니어 레벨 애너테이션과 관계—을 수집하여 레이블링 이론을 표현한다.
• 레이블링 규칙은 도메인 관계계산 기반 표기법으로 표현된다: {tokens | 조건} ⇒ label, 여기서 조건은 토큰에 대한 논리적 AND 조건의 부울 조건이다.
• 합성기(synthesizer)는 초기 규칙을 토큰을 재사용 가능한 개념으로 대체하고, 위치 또는 동시 발생 제약 조건을 적용하며, 변환 함수(예: 표준화)를 적용하여 일반화한다.
• 일반화는 G(r) = ∏|c.rhs|로 평가되며, 더 많은 데이터 인스턴스에 적용 가능한 규칙을 선호한다.
• 규칙는 일반화 점수에 따라 순위가 매겨지고 사용자에게 제시되어 효율적인 규칙 선별이 가능하다.
• 시스템은 선택된 규칙을 약한 감독을 통한 분류 모델 훈련을 위한 실행 가능한 레이블링 함수로 변환한다.

실험 결과

연구 질문

• RQ1 상호작용적, 예시 기반 레이블링은 데이터 프로그래밍에서 레이블링 함수를 작성하는 데 필요한 노력과 전문성 수준을 낮출 수 있는가?
• RQ2 사용자 예시를 통한 방식으로 생성된 레이블링 함수의 품질은 전문가가 직접 작성한 것과 비교해 어떻게 되는가?
• RQ3 기존의 데이터 프로그래밍에 비해 제안된 프레임워크는 사용성, 학습 용이성, 사용자 만족도 측면에서 얼마나 향상되는가?
• RQ4 합성기에서는 모델 성능 저하 없이 사용자 상호작용을 의미적으로 유의미하고 효과적인 레이블링 규칙으로 일반화할 수 있는가?

주요 결과

• 사용자 연구에서 10명의 데이터 과학자 대상으로 Ruler는 기존의 데이터 프로그래밍에 비해 사용자 만족도와 사용 용이성 측면에서 뚜렷한 향상을 보였다.
• Ruler가 생성한 레이블링 함수를 사용해 훈련한 모델의 예측 성능은 Snorkel에서 수동으로 작성된 레이블링 함수를 사용한 모델와 유사했다.
• 사용자들은 Ruler가 학습하고 사용하기에 더 쉬운 편이었으며, 특히 직관적인 시각적 상호작용과 프로그래밍 지식이 줄어든 덕분이었다.
• 합성기는 사용자 상호작용을 효과적인 레이블링 규칙 세트로 성공적으로 일반화했으며, 레이블링된 예제를 높은 커버리지로 다루고 중복 최소화를 이뤘다.
• 이 프레임워크는 명시적 규칙 작성 대신 상호작용 예시를 통해 도메인 지식을 효과적으로 캡처할 수 있음을 입증했다.
• 오픈소스 Ruler 시스템과 연구 자료는 공개되어 있어 재현성과 향후 연구를 지원한다.