[논문 리뷰] PRBoost: Prompt-Based Rule Discovery and Boosting for Interactive Weakly-Supervised Learning

Rongzhi Zhang, Yue Yu외 3명|arXiv (Cornell University)|2022. 03. 18.

Text and Document Classification Technologies인용 수 12

한 줄 요약

PRBoost는 프롬프트 기반 언어 모델을 통해 반복적으로 고품질의 레이블링 규칙을 탐지하고 부스팅 방식의 앙상블 전략을 사용해 모델 성능을 햖थ하는 혁신적인 인터랙티브 약한 지도 학습 프레임워크이다. 네 가지 NLP 작업에서 최신의 WSL 기준보다 최대 7.1%의 정확도 향상을 기록하며 완전 지도 학습 모델에 가까운 성능을 달성한다.

ABSTRACT

Weakly-supervised learning (WSL) has shown promising results in addressing label scarcity on many NLP tasks, but manually designing a comprehensive, high-quality labeling rule set is tedious and difficult. We study interactive weakly-supervised learning -- the problem of iteratively and automatically discovering novel labeling rules from data to improve the WSL model. Our proposed model, named PRBoost, achieves this goal via iterative prompt-based rule discovery and model boosting. It uses boosting to identify large-error instances and then discovers candidate rules from them by prompting pre-trained LMs with rule templates. The candidate rules are judged by human experts, and the accepted rules are used to generate complementary weak labels and strengthen the current model. Experiments on four tasks show PRBoost outperforms state-of-the-art WSL baselines up to 7.1% and bridges the gaps with fully supervised models. Our Implementation is available at \\url{https://github.com/rz-zhang/PRBoost}.

연구 동기 및 목표

• 정적이고 규칙 기반의 약한 지도 학습의 한계를 해결하기 위해, 초기 레이블링 규칙 세트가 종종 부족하고 오류가 많다는 점을 개선한다.
• 개별 인스턴스 레이블링에서 규칙 수준 레이블링으로 전환함으로써 인간의 레이블링 비용을 줄인다. 이는 한 개의 규칙이 수많은 인스턴스를 레이블링할 수 있음을 의미한다.
• 부스팅 기반 전략을 통해 큰 오차를 보이는 인스턴스에 집중함으로써 반복적으로 모델 성능을 향상시킨다.
• 사전 훈련된 언어 모델을 규칙 템플릿과 함께 프롬프팅하여 표현력 있고 의미적으로 풍부한 레이블링 규칙을 생성한다.
• 지속적인 규칙 정교화와 모델 부스팅을 통해 약한 지도 학습과 완전 지도 학습 모델 간의 성능 격차를 좁힌다.

제안 방법

• 프롬프트 기반 규칙 탐색 모듈은 어려운 분류를 요구하는 인스턴스와 규칙 템플릿을 프롬프팅하여 후보 레이블링 규칙을 생성한다.
• 반복적인 부스팅 전략은 모델 오차에 기반해 훈련 인스턴스의 가중치를 재조정하여, 큰 오차를 보이는 샘플에 집중함으로써 모델 일반화 능력을 향상시킨다.
• 인간이 참여하는 평가 단계를 통해 전문가가 후보 규칙를 이진 판단으로 수락 또는 거부함으로써 고품질의 규칙 통합을 보장한다.
• 수락된 규칙는 새로운 약한 레이블을 생성하는 데 사용되며, 이는 기존의 약한 레이블과 함께 약한 모델의 앙상블을 훈련하는 데 활용된다.
• 자기 훈련을 적용하여 미레이블링된 데이터를 활용하고 일반화 능력을 향상시키며, 특히 새로운 규칙에 의해 커버되지 않은 인스턴스에 특히 효과적이다.
• 앙상블 모델은 반복적으로 업데이트되며, 각 라운드에서 예측을 정교화하고 상호보완적인 규칙 세트를 통해 규칙 커버리지를 확장한다.

실험 결과

연구 질문

• RQ1 하나의 인스턴스에서 어려운 분류를 요구하는 경우에 프롬프트 기반 규칙 탐색이 n-gram 또는 패턴 기반 방법보다 더 표현력 있고 효과적인 레이블링 규칙을 생성할 수 있는가?
• RQ2 약한 지도 학습에서 부스팅 기반 전략을 통해 반복적으로 규칙을 탐색함으로써 정적 규칙 세트에 비해 모델 성능이 어떻게 향상되는가?
• RQ3 레이블 효율성과 모델 정확도 측면에서 룰 레벨의 인간 레이블링이 인스턴스 레벨의 레이블링보다 얼마나 더 우수한가?
• RQ4 프롬프트 기반 규칙 생성과 인간 평가의 조합이 더 높은 품질의 약한 레이블과 더 나은 모델 일반화를 이끌어내는가?
• RQ5 적응형 규칙 탐색과 함께 반복적인 부스팅 전략은 오류 전파를 어떻게 줄이고 모델의 강건성을 향상시키는가?

주요 결과

• PRBoost는 관계 추출, 온톨로지 분류, 주제 분류, 화학-단백질 상호작용 예측을 포함한 네 가지 NLP 작업에서 최신의 WSL 기준보다 최대 7.1%의 정확도 향상을 기록했다.
• 10회의 반복 후 AG News 데이터셋에서 모델의 정확도가 86.7%에서 88.9%로 향상되어 반복적인 규칙 정교화를 통한 일관된 성능 향상을 입증했다.
• 규칙 커버리지는 56.4%에서 77.8%로 증가했고, 규칙 정확도는 83.1%에서 85.6%로 향상되어 새로운 규칙가 더 포괄적이고 정확하다는 것을 보여주었다.
• 제거 분석을 통해 반복적인 부스팅 전략과 함께 규칙 탐색이 비반복적 규칙 탐색 대비 1.2%의 성능 향상을 기여한다는 것이 확인되었다.
• 자기 훈련을 제거하면 성능이 0.6% 감소하여, 자기 훈련이 커버되지 않은 인스턴스에 대한 일반화 능력을 향상시킨다는 점이 입증되었다.
• '규칙 없음' 제거 분석에서 성능이 1.5% 감소하여, 새로 발견된 상호보완적인 규칙가 모델 앙상블만으로는 달성할 수 없는 성능 향상에 필수적이라는 것이 입증되었다.