[논문 리뷰] Snorkel DryBell: A Case Study in Deploying Weak Supervision at Industrial Scale

Stephen H. Bach, Daniel Rodríguez외 11명|arXiv (Cornell University)|2018. 12. 02.

Data Quality and Management참고 문헌 35인용 수 27

한 줄 요약

Snorkel DryBell는 인간의 정제된 레이블링이 필요한 대량의 데이터를 제공하지 않고도 고성능 기계학습 분류기를 훈련하기 위해 다양한 조직 내 지식 자원(예: 히우리스틱, 모델, 지식 기반)을 노이즈 있는 레이블로 활용하는 확장 가능한 약한 감독 시스템이다. 이 시스템은 수천 개의 수동 레이블링 예제로 훈련된 모델과 유사한 분류기 성능을 달성하며, 비서비스 가능한 지식을 실시간으로 활용 가능한 모델로 전환함으로써 평균 52%의 성능 향상을 이끌어내고, 수백만 개의 데이터 포인트를 수십 분 내에 처리할 수 있다.

ABSTRACT

Labeling training data is one of the most costly bottlenecks in developing machine learning-based applications. We present a first-of-its-kind study showing how existing knowledge resources from across an organization can be used as weak supervision in order to bring development time and cost down by an order of magnitude, and introduce Snorkel DryBell, a new weak supervision management system for this setting. Snorkel DryBell builds on the Snorkel framework, extending it in three critical aspects: flexible, template-based ingestion of diverse organizational knowledge, cross-feature production serving, and scalable, sampling-free execution. On three classification tasks at Google, we find that Snorkel DryBell creates classifiers of comparable quality to ones trained with tens of thousands of hand-labeled examples, converts non-servable organizational resources to servable models for an average 52% performance improvement, and executes over millions of data points in tens of minutes.

연구 동기 및 목표

• 산업용 기계학습 응용 분야에서 수동 레이블링을 위한 높은 비용과 장기적인 개발 기간을 해결하기 위해.
• 다양한 기존 조직 내 지식 자원을 레이블링 함수로 통합함으로써 약한 감독의 빠르고 확장 가능한 구현을 가능하게 하기 위해.
• 비서비스 가능한 내부 지식(예: 배치 모델, 히우리스틱)과 실시간, 생산 환경에 적합한 모델 간 격차를 메우기 위해.
• 레이블링 함수의 유연한 템플릿 기반 통합과 산업 워크로드에 적합한 샘플링 없이도 확장 가능한 추론을 지원하는 시스템을 개발하기 위해.
• 실제 생산 환경에서 수만 개의 수동 레이블링 예제로 훈련된 모델과 동등한 성능을 달성할 수 있음을 입증하기 위해.

제안 방법

• 시스템은 다양한 조직 내 지식 자원(예: 히우리스틱, 모델, 지식 기반)을 레이블링 함수로 통합하기 위해 유연하고 템플릿 기반의 입력 레이어를 사용한다.
• 다양한 레이블링 함수의 출력을 모델링함으로써 진짜 레이블 분포를 추정하는 생성 모델을 활용한다. 이 모델은 기각하거나 노이즈 있는 예측을 내는 함수를 포함하여도 작동한다.
• 비서비스 가능한 기능(예: 배치 통계, 고비용 모델)에서 실시간으로 활용 가능한 기능(예: 스트리밍 신호)으로 지식을 전달함으로써 교차 기능 기반의 생산 서비스를 가능하게 한다.
• 생성 모델에서 폐쇄형 해법 추론을 사용함으로써 샘플링 없이 실행을 지원함으로써, 반복적 샘플링 없이도 수백만 개의 데이터 포인트로도 효율적으로 확장 가능하다.
• 전문가와 데이터 엔지니어 간의 분리를 실현함으로써, 전문가가 저수준의 시스템 튜닝 없이도 독립적이고 반복적인 레이블링 함수 정의가 가능하도록 한다.
• 약한 감독을 통한 분류기의 종단 간 훈련 및 배포를 지원하며, 레이블 충돌 자동 처리 및 불확실성 추정 기능을 포함한다.

실험 결과

연구 질문

• RQ1 다양하고 기존의 조직 내 지식 자원을 활용한 약한 감독이 수천 개의 수동 레이블링 예제로 훈련된 모델과 동등한 분류기 성능을 달성할 수 있는가?
• RQ2 비서비스 가능한 조직 내 지식(예: 배치 모델, 히우리스틱)이 약한 감독을 통해 얼마나 효과적으로 실시간, 생산용 모델로 전환될 수 있는가?
• RQ3 Snorkel DryBell는 수백만 개의 데이터 포인트를 포함하는 산업 워크로드에 대해 저지연성과 고정확도를 유지하면서 어떻게 확장 가능한가?
• RQ4 소규모 수동 레이블링 개발 세트 외에 여러 약한 감독 자원을 통합함으로써 얻을 수 있는 성능 향상은 어느 정도인가?
• RQ5 기존 데이터 파이프라인의 대규모 재설계 없이도 약한 감독 시스템을 생산 환경에서 대규모로 배포할 수 있는가?

주요 결과

• Snorkel DryBell는 80,000개의 수동 레이블링 예제로 훈련된 모델과 동등한 성능을 보인 분류기를 훈련하여, 레이블링 비용을 한 단계 낮췄다.
• Google에서 수행한 세 가지 실세계 분류 작업에서, 시스템은 단지 약 15,000개의 수동 레이블링 예제로 훈련된 분류기 대비 평균 11.5%의 F1 스코어 향상을 달성했다.
• 비서비스 가능한 조직 내 지식(예: 배치 모델, 히우리스틱)을 실시간, 생산용 모델로 전환함으로써 평균 52%의 성능 향상을 이끌어냈다.
• 시스템은 100만 개 이상의 데이터 포인트에 대해 30분 이내로 추론을 수행하여 고확장성과 저지연 추론 성능을 입증했다.
• 시스템은 전문가와 데이터 엔지니어 간의 분리를 성공적으로 실현하여, 성능 병목 현상 없이도 신속하고 반복적인 레이블링 함수 개발이 가능했다.
• Snorkel DryBell의 생성 모델은 레이블 충돌과 불확실성을 효과적으로 처리하여, 노이즈가 많고 상관관계가 있는 레이블링 함수가 존재하는 환경에서도 견고한 추론을 가능하게 했다.