[논문 리뷰] Learning the Structure of Generative Models without Labeled Data

Stephen H. Bach, Bryan He외 2명|arXiv (Cornell University)|2017. 03. 02.

Music and Audio Processing참고 문헌 35인용 수 70

한 줄 요약

레이블이 없는 데이터로 약한 감독 학습용 생성 모델의 의존성 구조를 자동으로 학습하기 위한 l1-정규화된 주변 의사가능도 접근법을 제안하며, 부분선형 샘플 복잡도와 전체 구조 방법에 대한 큰 속도 향상을 달성한다.

ABSTRACT

Curating labeled training data has become the primary bottleneck in machine learning. Recent frameworks address this bottleneck with generative models to synthesize labels at scale from weak supervision sources. The generative model's dependency structure directly affects the quality of the estimated labels, but selecting a structure automatically without any labeled data is a distinct challenge. We propose a structure estimation method that maximizes the $\ell_1$-regularized marginal pseudolikelihood of the observed data. Our analysis shows that the amount of unlabeled data required to identify the true structure scales sublinearly in the number of possible dependencies for a broad class of models. Simulations show that our method is 100$ imes$ faster than a maximum likelihood approach and selects $1/4$ as many extraneous dependencies. We also show that our method provides an average of 1.5 F1 points of improvement over existing, user-developed information extraction applications on real-world data such as PubMed journal abstracts.

연구 동기 및 목표

• 지도 학습에서 라벨 데이터의 병목 현상을 동기화하고, 약한 감독 소스에서 진짜 라벨을 추론해야 할 필요성을 제시한다.
• 참값 라벨 값을 사용하지 않고 레이블링 함수 간의 의존성을 자동으로 식별하는 구조 학습 방법을 도입한다.
• 의존성을 선택하기 위해 l1-정규화된 주변 의사가능도를 활용한 확장 가능한 최적화 프레임워크를 개발한다.
• 진짜 구조를 복구하기 위한 샘플 복잡도에 대한 이론적 보장을 제공한다.
• 합성 데이터와 실제 약한 감독 작업에서 속도 및 정확도 향상을 경험적으로 검증한다.

제안 방법

• 레이블링 함수가 라벨이 없는 데이터에 대해 잡음이 섞인 출력을 생성하는 데이터 프로그래밍 프레임워크로 약한 감독을 모델링한다.
• 레이블링 함수 간의 이변량 및 고차 의존성과 잠재적 진짜 레이블을 포함하는 의존성 보강 인자 그래프로 일반화한다.
• 다른 모든 레이블링 함수를 조건으로 하여 정확한 경사 를 계산하는 효율적인 l1-정규화된 주변 의사가능도 목표로 전체 구조 학습을 대체한다( Gibbs 샘플링 없이).
• 희소성을 강제하기 위해 온라인 잘라진 그래디언트를 사용하는 SGD로 각 레이블링 함수의 의존성을 순차적으로 학습하여 목적함수를 최적화한다(Algorithm 1).
• 이론적 회복 보장: 충분한 비표본 데이터 m은 O(d/(c^2 κ^2) log(nd/δ))로 스케일하며, 여기서 d는 변수당 최대 의존성 수; 페어와/정확도 상관관계만 존재하는 경우에는 O(n log n)이 된다는 보조정리가 있다.

실험 결과

연구 질문

• RQ1 약한 감독의 생성 모델 구조를 비표본 데이터만으로 자동으로 학습할 수 있는가?
• RQ2 다양한 의존성 설정에서 참된 의존성 구조를 안정적으로 복구하는 데 필요한 데이터 효율성(샘플 복잡도)은 어느 정도인가?
• RQ3 의존성을 학습하는 것이 조건부 독립성을 가정하는 것보다 다운스트림 약한 감독 작업의 성능을 향상시키는가?
• RQ4 제안된 의사가능도 기반 구조 학습은 Gibbs 샘플링이 포함된 전체 주변 가능도와 비교하여 속도와 정확도 측면에서 어떤 차이가 있는가?
• RQ5 이론적 보장이 합성 및 실제 약한 감독 응용에서 실제로 성립하는가?

주요 결과

• 제안된 l1-정규화된 주변 의사가능도 방법(다른 모든 함수가 조건부로 주어지는 각 레이블링 함수에 대해) 은 레이블이 없는 데이터만으로도 의존성을 효율적으로 복구한다.
• Algorithm 1 은 구조 학습을 위한 Gibbs 샘플링이 포함된 전체 주변 가능도보다 현저히 빠르다(약 100배).
• 페어와 의존성 및 정확도 의존성에 집중할 때 샘플 복잡도는 잠재 의존성 수의 부분선형(O(n log n))으로 수렴한다.
• 실험적으로 실제 약한 감독 작업(PubMed 초록, 하드웨어 사양)에 대해 독립 레이블링 함수 모델 대비 평균 약 1.5 F1 포인트의 성능 향상을 보인다.
• 합성 설정에서 전체 의존성 탐색에 비해 학습 속도가 빨라지고 불필요한 의존성이 줄어드는 효과가 있다(약 1/4 수준의 불필요한 상관관계 감소).