[논문 리뷰] Foreshadowing the Benefits of Incidental Supervision

Hangfeng He, Mingyuan Zhang외 2명|arXiv (Cornell University)|2020. 06. 09.

Topic Modeling참고 문헌 71인용 수 3

한 줄 요약

이 논문은 PABI를 소개한다. PABI는 노이즈가 섞인, 부분적인, 또는 도메인 간 레이블과 같은 부수적 지도 신호의 정보성(정보량)을 측정하는 PAC-Bayesian 측도로, 모델의 불확실성 감소 정도를 추정한다. 명명된 실체 인식 및 질의 응답 작업에서의 실험을 통해 PABI는 실제 학습 성능과 강한 상관관계를 보이며, 학습 이전에 어떤 신호가 모델 성능 향상에 기여할지 예측할 수 있음을 보여준다.

ABSTRACT

Learning theory mostly addresses the standard learning paradigm, assuming the availability of complete and correct supervision signals for large amounts of data. However, in practice, machine learning researchers and practitioners acquire and make use of a range of {\em incidental supervision} signals that only have statistical associations with the gold supervision. This paper addresses the question: {\em Can one quantify models' performance when learning with such supervision signals, without going through an exhaustive experimentation process with various supervision signals and learning protocols?} To quantify the benefits of various incidental supervision signals, we propose a unified PAC-Bayesian Informativeness measure (PABI), characterizing the reduction in uncertainty that incidental supervision signals provide. We then demonstrate PABI's use in quantifying various types of incidental signals such as partial labels, noisy labels, constraints, cross-domain signals, and some combinations of these. Experiments on named entity recognition and question answering show that PABI correlates well with learning performance, providing a promising way to determine, ahead of learning, which supervision signals would be beneficial.

연구 동기 및 목표

• 실제 기계학습에서 흔히 발생하는 완전하지 않거나 부정확한 지도 신호를 사용할 때의 모델 성능 예측 문제를 해결하기 위해.
• 완전한 실험을 수행하지 않고도 노이즈 레이블, 부분적 애너테이션, 도메인 간 제약 조건과 같은 다양한 부수적 지도 신호의 가치를 정량화하기 위해.
• 모델의 불확실성 감소 정도를 추정할 수 있는 이론적으로 탄탄한 통합 측도를 개발하기 위해.
• 실제 개발 과정에서 시행착오를 줄이기 위해 개발자가 사전에 가장 유익한 지도 신호를 선별할 수 있도록 지원하기 위해.

제안 방법

• 부수적 지도 신호에 의한 예측 불확실성 감소 정도를 정량화하기 위한 통합 PAC-Bayesian 정보성 측도(PABI)를 제안한다.
• PABI는 PAC-Bayesian 이론에서 유도되며, 지도 신호를 사용할 경우 일반화 오차의 기대 감소를 모델링한다.
• 측도는 부수적 신호와 참값 레이블 간의 통계적 연관성을 평가하여, 모델 성능 향상 잠재력을 추정한다.
• PABI는 부분적 레이블, 노이즈 레이블, 제약 조건, 도메인 간 신호뿐만 아니라 그 조합까지 다양한 유형의 신호에 적용된다.
• 모델 재학습이 필요 없이 작동하므로, 학습 이전에 신속하게 신호를 평가할 수 있다.
• empirical label 상관관계 및 모델 불확실성 추정치를 사용하여 PABI를 계산하므로, 확장성과 실용성이 확보된다.

실험 결과

연구 질문

• RQ1 완전한 실험을 수행하지 않고도, 부수적 지도 신호를 사용할 경우 모델의 성능 향상 정도를 예측할 수 있는가?
• RQ2 PABI는 부분적 레이블 및 노이즈 애너테이션과 같은 다양한 지도 신호에 대해 실제 학습 성능과 얼마나 잘 상관되는가?
• RQ3 PABI는 제약 조건과 노이즈 레이블의 조합과 같이, 유익한 신호 조합을 어느 정도 효과적으로 식별할 수 있는가?
• RQ4 PABI는 명명된 실체 인식 및 질의 응답과 같은 실제 NLP 작업에서 신호의 정보성에 따라 효과적으로 순위를 매길 수 있는가?

주요 결과

• PABI는 명명된 실체 인식 및 질의 응답과 같은 다양한 NLP 작업에서 실제 모델 성능과 강한 상관관계를 보였다.
• 학습 이전에 노이즈 레이블이나 부분적 레이블과 같은 부수적 지도 신호 중에서 가장 유익한 신호를 성공적으로 식별했다.
• PABI는 제약 조건과 도메인 간 신호의 조합과 같이, 기대 정보성에 따라 신호 조합을 효과적으로 순위 매겼다.
• 완전한 학습 사이클을 요구하지 않아도 학습 성능 향상 정도를 정확하게 예측할 수 있어 실험적 부담을 줄였다.
• PABI는 참값 레이블과의 약한 또는 간접적인 연관성을 가진 신호 유형에도 강건하게 작동함을 보였다.
• 결과적으로 PABI는 실무에서 지도 신호 선택을 위한 신뢰할 수 있는 사전 선별 도구로 활용될 수 있음을 시사한다.