[논문 리뷰] Semi-Supervised Learning with Declaratively Specified Entropy Constraints

Haitian Sun, William W. Cohen외 1명|arXiv (Cornell University)|2018. 04. 24.

Multimodal Machine Learning Applications인용 수 3

한 줄 요약

이 논문은 엔트로피 제약을 사용하여 다양한 SSL 전략을 통합하는 선언적 프레임워크를 소개한다. 이는 앙상블, 일致성 제약, 엔트로피 정규화의 유연한 사양을 가능하게 하며, 표준 히ュ리스틱(예: 공동 학습)과 새로운 도메인 전용 규칙을 통합된 엔트로피 기반 공식으로 모델링함으로써 어려운 관계 추출 벤치마크에서 최신 기준 성능을 달성한다.

ABSTRACT

We propose a technique for declaratively specifying strategies for semi-supervised learning (SSL). SSL methods based on different assumptions perform differently on different tasks, which leads to difficulties applying them in practice. In this paper, we propose to use entropy to unify many types of constraints. Our method can be used to easily specify ensembles of semi-supervised learners, as well as agreement constraints and entropic regularization constraints between these learners, and can be used to model both well-known heuristics such as co-training, and novel domain-specific heuristics. Besides, our model is flexible as to the underlying learning mechanism. Compared to prior frameworks for specifying SSL techniques, our technique achieves consistent improvements on a suite of well-studied SSL benchmarks, and obtains a new state-of-the-art result on a difficult relation extraction task.

연구 동기 및 목표

• 다양한 작업에서 다양한 가정이 성능에 영향을 미치는 바, 적절한 SSL 방법을 선택하는 데 도전하는 것.
• 합의 및 정규화와 같은 다양한 유형의 SSL 제약을 단일 엔트로피 기반 공식 아래 통합하는 것.
• 선언적 제약을 통해 학습자 앙상블과 도메인 전용 히ュ리스틱의 다양한 사양을 가능하게 하는 것.
• 다양한 SSL 벤치마크, 특히 어려운 관계 추출 작업을 포함하여 일반화 및 성능 향상을 이루는 것.
• 아키텍처 변경 없이 다양한 기반 학습 메커니즘을 지원하는 유연하고 확장 가능한 프레임워크를 제공하는 것.

제안 방법

• 이 방법은 엔트로피 제약을 사용하여 학습 전략을 선언적으로 사양함으로써 사용자가 고수준이고 모듈러한 방식으로 복잡한 SSL 히ュ리스틱을 표현할 수 있도록 한다.
• 모델 예측의 엔트로피에 대한 제약을 공식화함으로써, 비라벨 데이터 전반에 걸쳐 확신 있는 예측을 장려하는 정규화를 가능하게 한다.
• 이 프레임워크는 다수의 모델 간의 합의 제약과 예측 일致성을 촉진하는 엔트로피 정규화를 모두 지원한다.
• 예측 간에 제약이 적용되어 일관성을 강제하는 학습자 앙상블의 사양을 가능하게 한다.
• 이 접근은 기반 학습 알고리즘에 관계없이 적용 가능하므로 다양한 모델과 학습 절차와 호환된다.
• 제약은 선언적으로 인코딩되어, 미분 가능한 학습 파이프라인을 통한 자동 최적화가 가능하다.

실험 결과

연구 질문

• RQ1 엔트로피 제약을 기반으로 한 통합된 선언적 프레임워크가 다양한 반감독 학습 전략을 효과적으로 모델링할 수 있는가?
• RQ2 기존 SSL 방법과 비교하여 제안된 프레임워크는 표준 벤치마크에서 어떻게 성능을 내는가?
• RQ3 이 프레임워크는 공통 학습과 같은 잘 알려진 히ュ리스틱을 표현하고 향상시킬 수 있는가?
• RQ4 이 프레임워크는 새로운 도메인 전용 히ュ리스틱의 개발과 통합을 가능하게 하는가?
• RQ5 관계 추출과 같은 어려운 실세계 작업에서 이 프레임워크가 최신 기준 성능을 달성하는 데까지 어느 정도 기여하는가?

주요 결과

• 제안된 프레임워크는 잘 알려진 반감독 학습 벤치마크 일괄에 걸쳐 일관된 향상을 이룬다.
• 어려운 관계 추출 작업에서 새로운 최신 기준 성능을 확보하여, 복잡한 실세계 환경에서의 효과성을 입증한다.
• 이 방법은 공통 히ュ리스틱(예: 공통 학습)과 새로운 도메인 전용 히ュ리스틱을 통합된 엔트로피 기반 제약 시스템을 통해 성공적으로 모델링한다.
• 프레임워크의 유연성 덕분에 수정 없이 다양한 기반 학습 메커니즘과 함께 사용할 수 있다.
• 선언적 사양 덕분에 이전 접근 방식보다 더 쉽게 복잡한 SSL 전략의 설계와 조합이 가능하다.
• 엔트로피 제약의 사용은 합의 및 정규화와 같은 다양한 제약을 단일 형식론 아래 통합하는 원칙적인 방법을 제공한다.