[논문 리뷰] Train and You'll Miss It: Interactive Model Iteration with Weak Supervision and Pre-Trained Embeddings

Mayee F. Chen, Daniel Y. Fu외 6명|ArXiv.org|2020. 06. 26.

Domain Adaptation and Few-Shot Learning참고 문헌 69인용 수 5

한 줄 요약

이 논문은 사전 훈련된 임bedding과 약한 감독을 조합하여 임베딩 공간에서 근처 데이터 포인트로 레이블 투표를 확장함으로써 빠르고 상호작용 가능한 기계학습을 가능하게 하는 Epoxy를 제안한다. 깊은 네트워크를 훈련하지 않음에도 불구하고 Epoxy는 상태의 최고 수준(SOTA)에 근접한 성능(0.7점 이내)을 달성하며, 0.5초 미만으로 훈련되어 표준 약한 감독보다 4.1점, 피취너닝 없이 전이 학습을 수행하는 것보다 12.8점 뛰어나다.

ABSTRACT

Our goal is to enable machine learning systems to be trained interactively. This requires models that perform well and train quickly, without large amounts of hand-labeled data. We take a step forward in this direction by borrowing from weak supervision (WS), wherein models can be trained with noisy sources of signal instead of hand-labeled data. But WS relies on training downstream deep networks to extrapolate to unseen data points, which can take hours or days. Pre-trained embeddings can remove this requirement. We do not use the embeddings as features as in transfer learning (TL), which requires fine-tuning for high performance, but instead use them to define a distance function on the data and extend WS source votes to nearby points. Theoretically, we provide a series of results studying how performance scales with changes in source coverage, source accuracy, and the Lipschitzness of label distributions in the embedding space, and compare this rate to standard WS without extension and TL without fine-tuning. On six benchmark NLP and video tasks, our method outperforms WS without extension by 4.1 points, TL without fine-tuning by 12.8 points, and traditionally-supervised deep networks by 13.1 points, and comes within 0.7 points of state-of-the-art weakly-supervised deep networks-all while training in less than half a second.

연구 동기 및 목표

• 손으로 레이블링된 데이터를 대량으로 의존하지 않고도 훈련 시간을 수초로 줄여 기계학습에서 상호작용 가능한 모델 반복을 가능하게 한다.
• 약한 감독(WS)이 낮은 커버리지와 일반화 능력 부족으로 인해 새로운 데이터 포인트로의 외삽에 한계를 가진다는 문제를 해결한다.
• 현재 약한 감독 파이프라인에서 하류의 깊은 네트워크 훈련 비용이 높아 상호작용 가능한 시간 스케일을 방해한다는 점을 해결한다.
• 사전 훈련된 임베딩을 특징으로 사용하는 것이 아니라, 국소적으로 약한 감독 투표를 확장하기 위한 거리 척도로 활용하여 커버리지와 정확도를 향상시킨다.
• 모델 재훈련이나 피취너닝 없이도 최신의 약한 감독 기반 깊은 네트워크 수준의 성능을 달성한다.

제안 방법

• 사전 훈련된 임베딩을 사용해 데이터 포인트 간의 국소 거리 함수를 정의함으로써, 약한 감독 투표를 근처 인스턴스로 부드럽게 확장할 수 있도록 한다.
• 근처 포인트들에 대해 학습된 반경 내에서 약한 레이블링 함수의 투표를 확장하며, 근처 포인트들은 유사한 레이블을 가진다고 가정한다.
• 확률적 리프시츠 조건을 사용해 레이블 분포의 스무스함을 모델링하여 이론적으로 일반화 오차와 수렴 속도를 제한한다.
• 모든 레이블링 함수에 대해 동일한 임계값을 사용하는 것보다는, 각 함수별로 임계값을 조정하여 커버리지와 정확도의 균형을 맞춘다. 이는 과도한 일반화를 방지한다.
• 모든 데이터를 사전에 사전 훈련된 모델들(예: BERT, ResNet)을 사용해 임베딩과 쌍별 거리를 계산함으로써 한 번만 전처리하여 빠른 추론을 가능하게 한다.
• 최종적으로 확장된 확률적 레이블을 그대로 모델 예측으로 사용함으로써 하류 훈련이 필요 없도록 한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 임베딩을 통해 약한 감독 투표를 확장할 경우 모델 성능과 일반화 오차에 어떤 영향을 미치는가?
• RQ2 레이블 분포의 스무스함(리프시츠 조건)과 투표 확장으로 인한 성능 향상 간의 이론적 관계는 무엇인가?
• RQ3 Epoxy의 성능은 확장 없이 표준 약한 감독과 비교해 어떻게 되는가? 또한 피취너닝 없이 전이 학습과 비교해 어떻게 되는가?
• RQ4 어떤 조건에서 Epoxy는 피취너닝 없이 전이 학습을 능가하며, 그 이유는 무엇인가?
• RQ5 사전 훈련된 임베딩는 얼마나 높은 품질의 약한 감독을 가능하게 할 수 있으며, 피취너닝 없이도 모델 재훈련 없이도 성능을 달성할 수 있는가?

주요 결과

• Epoxy는 6개의 벤치마크 작업 평균에서 확장 없이 표준 약한 감독보다 4.1점 높은 성능을 보였다.
• Epoxy는 피취너닝 없이 전이 학습보다 평균 12.8점 높은 성능을 보였으며, 이는 투표 확장으로 인한 뚜렷한 성능 향상을 입증한다.
• Epoxy는 훈련 또는 피취너닝 없이도 최신의 약한 감독 기반 깊은 네트워크 수준의 성능에 0.7점 이내로 근접했다.
• Epoxy는 반복당 0.5초 미만으로 훈련되어 상호작용 가능한 모델 개발 주기를 가능하게 하였다.
• 성능 향상은 사전 풀링된 사전 훈련된 임베딩와 피취너닝된 임베딩 간의 최소 유사도와 강하게 상관되어 있었으며, 이는 피취너닝 중에 임베딩가 변화함으로써 전이 가능성의 감소가 발생할 수 있음을 시사한다.
• 제거 분석 결과, 모든 레이블링 함수에 고정된 임계값을 사용할 경우 성능이 떨어지며, 이는 각 함수별로 임계값을 조정하는 것이 유의미한 이점을 제공한다는 것을 확인한다.