[논문 리뷰] Learning from Rules Generalizing Labeled Exemplars

Abhijeet Awasthi, Sabyasachi Ghosh외 2명|arXiv (Cornell University)|2020. 04. 13.

Machine Learning and Data Classification참고 문헌 34인용 수 23

한 줄 요약

이 논문은 레이블링 규칙과 규칙가 올바르게 적용되는 특정 예시들(예시)을 결합하여, 소프트 함의 손실을 통한 함께 노이즈 제거와 분류기 학습을 통해 모델 훈련을 향상시키는 새로운 프레임워크를 제안한다. 이 방법은 잠재적 커버리지 변수를 통한 규칙별 노이즈 보정을 활용하여 다섯 가지 다양한 NLP 작업에서 기존의 노이즈 있는 감독 기반 접근법보다 뛰어난 성능을 보였다.

ABSTRACT

In many applications labeled data is not readily available, and needs to be collected via pain-staking human supervision. We propose a rule-exemplar method for collecting human supervision to combine the efficiency of rules with the quality of instance labels. The supervision is coupled such that it is both natural for humans and synergistic for learning. We propose a training algorithm that jointly denoises rules via latent coverage variables, and trains the model through a soft implication loss over the coverage and label variables. The denoised rules and trained model are used jointly for inference. Empirical evaluation on five different tasks shows that (1) our algorithm is more accurate than several existing methods of learning from a mix of clean and noisy supervision, and (2) the coupled rule-exemplar supervision is effective in denoising rules.

연구 동기 및 목표

• 인간의 레이블링이 비용이 많이 들고 시간이 오래 걸리는 기계학습에서 고품질의 레이블 데이터 확보 문제를 해결하기 위해.
• 규칙의 확장성과 인스턴스 수준의 레이블 정밀도를 결합한 더 효과적인 감독 파라다임을 개발하기 위해.
• 잠재적 커버리지 변수를 통한 함께 노이즈 제거와 함께 분류기 성능 향상을 동시에 달성하는 훈련 알고리즘을 설계하기 위해.
• 잠재적 커버리지 변수를 통한 규칙별 노이즈 보정이 일반적인 노이즈에 강건한 학습보다 더 나은 일반화를 이끌어내는지 입증하기 위해.

제안 방법

• 각 규칙을 그 예시들의 노이즈 있는 일반화로 모델링하며, 잠재적 커버리지 변수를 사용해 규칙이 인스턴스에 대해 올바르게 적용되는지 여부를 나타낸다.
• 논리적 일관성을 강제하는 소프트 함의 손실을 도입한다: 만약 규칙이 인스턴스를 커버한다면, 예측 레이블은 예시의 레이블과 일치해야 한다.
• 변분 추론 기반으로 레이블 및 커버리지 변수에 대한 가능도를 최대화함으로써 분류기와 규칙의 노이즈 제거를 함께 최적화하는 훈련 절차를 사용한다.
• 함의 제약 조건의 미분 가능 근사화를 사용해 경사 하강법을 통한 엔드 투 엔드 훈련을 가능하게 한다.
• 추론 단계에서 노이즈 제거된 규칙을 사용하여 예측 정확도를 향상시키며, 규칙 개선과 모델 학습 간 피드백 루프를 형성한다.
• 이 프레임워크는 규칙 표현에 관계없이 적용 가능하며, 텍스트 분류 및 시퀀스 레이블링을 포함한 다양한 NLP 작업에 적용 가능하다.

실험 결과

연구 질문

• RQ1 규칙과 예시를 결합하면 NLP 작업에서 더 효과적이고 자연스러운 인간 감독을 이끌 수 있는가?
• RQ2 외부 정제된 데이터에 의존하지 않고도 훈련 중에 규칙별 노이즈를 효과적으로 모델링하고 수정할 수 있는가?
• RQ3 잠재적 커버리지 변수를 통한 분류기와 규칙의 노이즈 제거를 함께 학습하는 것이 표준적인 노이즈 레이블 학습 방법보다 성능을 향상시키는가?
• RQ4 소프트 함의 손실이 과도하게 일반화된 규칙을 다룰 때 표준 교차 엔트로피나 규칙 가중치 기반 베이스라인보다 얼마나 뛰어나게 작용하는가?
• RQ5 이 파라다임은 아키텍처 변경을 최소로 하여 다양한 NLP 작업으로 일반화될 수 있는가?

주요 결과

• 제안된 방법은 다섯 가지 다양한 NLP 작업 전반에서 노이즈 있는 규칙, 활성 학습, 후행 정규화를 사용한 여러 최첨단 베이스라인보다 더 높은 정확도를 달성했다.
• 잠재적 커버리지 변수를 통한 함께 훈련은 보류된 데이터에서 규칙의 과도한 일반화를 크게 줄였으며, 이는 규칙 정밀도 향상으로 확인되었다.
• 실증 결과로는 소프트 함의 손실이 예시 감독을 효과적으로 활용하여 규칙에 기인한 레이블 노이즈를 보정함을 보여주었으며, 특히 데이터가 적은 환경에서 두드러졌다.
• 모든 평가 환경에서 규칙 가중치 기반 베이스라인(Snorkel 등)과 노이즈에 강건한 학습 프레임워크(정제된 검증 세트가 있는 메타러닝 등)보다 성능이 뛰어났다.
• 규칙과 인스턴스 감독 간 강력한 상호보완성이 드러났으며, 규칙의 노이즈 제거가 모델 성능을 향상시키고, 모델 예측이 규칙 신뢰도를 향상시켰다.
• 코드와 데이터셋은 공개되어 있어 재현성과 새로운 응용 분야로의 확장이 가능하다.