[논문 리뷰] Training Complex Models with Multi-Task Weak Supervision

Alexander Ratner, Braden Hancock외 4명|arXiv (Cornell University)|2018. 10. 05.

Machine Learning and Data Classification참고 문헌 30인용 수 6

한 줄 요약

이 논문은 레이블이 없는 데이터를 사용하여 훈련 데이터 품질을 향상시키기 위해 다양한, 노이즈가 많고 상관관계가 있는 레이블링 소스를 하위 작업으로 모델링하는 멀티태스크 약한 감독 프레임워크인 MeTaL을 제안한다. 소스 간의 일致성과 의존성에 대해 행렬 완성 문제를 해결함으로써 MeTaL은 소스 정확도를 추정하고 최종 모델 성능을 향상시킨다. 세 가지 테이너드 분류 작업에서 전통적인 지도 학습보다 평균 20.2점의 정확도 향상을 기록했으며, 이는 이전의 약한 감독 방법보다 4.1점 높은 성능이다.

ABSTRACT

As machine learning models continue to increase in complexity, collecting large hand-labeled training sets has become one of the biggest roadblocks in practice. Instead, weaker forms of supervision that provide noisier but cheaper labels are often used. However, these weak supervision sources have diverse and unknown accuracies, may output correlated labels, and may label different tasks or apply at different levels of granularity. We propose a framework for integrating and modeling such weak supervision sources by viewing them as labeling different related sub-tasks of a problem, which we refer to as the multi-task weak supervision setting. We show that by solving a matrix completion-style problem, we can recover the accuracies of these multi-task sources given their dependency structure, but without any labeled data, leading to higher-quality supervision for training an end model. Theoretically, we show that the generalization error of models trained with this approach improves with the number of unlabeled data points, and characterize the scaling with respect to the task and dependency structures. On three fine-grained classification problems, we show that our approach leads to average gains of 20.2 points in accuracy over a traditional supervised approach, 6.8 points over a majority vote baseline, and 4.1 points over a previously proposed weak supervision method that models tasks separately.

연구 동기 및 목표

• 실제 머신러닝 응용에서 정확도가 알 수 없고 다양하며 상관관계가 있는 약한 감독 소스를 통합하는 데 도전하는 것.
• 레이블이 없는 데이터를 사용하여 소스 정확도를 추정할 수 있는 확장 가능한 방법을 개발함으로써, 소스를 상호 연관된 하위 작업으로 모델링하는 것.
• 레이블이 없는 데이터와 약한 감독 소스 간의 의존성 구조를 활용하여 최종 모델의 일반화 성능을 향상시키는 것.
• 레이블이 없는 데이터의 수와 작업 구조에 따라 일반화 오차의 이론적 스케일링을 보장하는 것.
• Gibbs 샘플링 기반 접근법의 계산적 병목 현상을 해결하기 위해 SGD를 통해 효율적인 훈련을 가능하게 하는 것.

제안 방법

• 각 약한 감독 소스를 서로 관련이 있지만 별개의 하위 작업으로 간주하여, 다중 작업 약한 감독 설정을 구성한다.
• 소스 간의 의존성 구조를 소스 그래프 Gsource와 작업 간 관계를 작업 그래프 Gtask를 통해 모델링한다.
• 다양한 소스 간 관찰된 레이블 일치 및 불일치에 대해 행렬 완성 문제로 문제를 공식화한다.
• 강력한 행렬 농도 경계를 사용하여 행렬 완성 알고리즘의 수렴성을 분석하고 보장한다.
• 행렬 완성 문제를 효율적으로 해결하기 위해 확률적 경량 최적화(Stochastic Gradient Descent, SGD)를 적용하여, Gibbs 샘플링 대비 100배 빠른 훈련을 가능하게 한다.
• 추정된 소스 정확도와 레이블 집약을 조합하여 최종 모델의 확률적 훈련 레이블을 생성한다.

실험 결과

연구 질문

• RQ1 레이블이 없는 데이터를 사용하여, 다양한 분류 수준과 상관관계를 가진 여러 약한 감독 소스의 정확도를 추정할 수 있는가?
• RQ2 약한 감독 소스 간의 의존성 구조가 추정된 소스 정확도의 식별 가능성과 정확도에 어떤 영향을 미치는가?
• RQ3 레이블이 없는 데이터 포인트의 수와 작업 의존성 구조에 따라 모델 일반화 오차가 어떻게 이론적으로 스케일링되는가?
• RQ4 단일 작업 또는 독립적인 소스 모델링 대비, 약한 감독 소스를 공동 다중 작업으로 모델링할 경우 최종 모델 성능은 어떻게 향상되는가?
• RQ5 계산 비용이 높은 Gibbs 샘플링 대신, 확장 가능한 SGD 기반 최적화 방법을 통해 고성능 모델 훈련을 달성할 수 있는가?

주요 결과

• MeTaL은 세 가지 테이너드 분류 작업에서 전통적인 지도 학습 대비 평균 20.2점의 정확도 향상을 기록했다.
• 이 방법은 다수결 투표 기반 베이스라인 대비 6.8점, 별도로 작업을 모델링하는 이전의 약한 감독 방법 대비 4.1점 향상된 성능을 보였다.
• MeTaL은 소스 그래프 내에서 식별 불가능한 의존성 구조를 탐지할 수 있는 컴파일러 유사 식별 가능성 검사를 제공하여, 신뢰할 수 없는 정확도 추정을 방지한다.
• 이론적 샘플 복잡도 경계는 레이블이 없는 데이터가 증가할수록 일반화 성능이 향상됨을 보여주며, 소스 수가 적은 경우에도 현실적으로 더 나은 성능을 보인다.
• MeTaL의 SGD 기반 훈련은 Gibbs 샘플링 기반 대안 대비 100배 이상 빠르게 실행되어, PyTorch와 같은 딥러닝 프레임워크에서의 실용적 구현을 가능하게 한다.
• 제거 분석 결과, 단극 보정과 공동 다중 작업 모델링이 각각 데이터 프로그래밍 기반 베이스라인 대비 2.8점과 1.3점의 정확도 향상에 기여한 것으로 확인되었다.