[논문 리뷰] Avoiding Your Teacher's Mistakes: Training Neural Networks with Controlled Weak Supervision

Mostafa Dehghani, Aliaksei Severyn외 2명|arXiv (Cornell University)|2017. 11. 01.

Machine Learning and Data Classification참고 문헌 33인용 수 29

한 줄 요약

이 논문은 약한 레이블이 있는 데이터로 훈련을 향상시키기 위해 타겟 신경망과 신뢰도 네트워크를 함께 훈련하는 다중 작업 학습 프레임워크를 제안한다. 진짜 레이블의 소량의 데이터로 훈련된 신뢰도 네트워크를 활용해 약한 레이블에서 유도되는 기울기 업데이트의 크기를 동적으로 조정함으로써, 노이즈가 있는 레이블로 인한 해로운 업데이트를 줄이고, 표준 미세조정보다 빠른 수렴과 더 나은 성능을 달성한다. 이는 문서 순서 매기기 및 감성 분류 작업에서 성과 향상에 기여한다.

ABSTRACT

Training deep neural networks requires massive amounts of training data, but for many tasks only limited labeled data is available. This makes weak supervision attractive, using weak or noisy signals like the output of heuristic methods or user click-through data for training. In a semi-supervised setting, we can use a large set of data with weak labels to pretrain a neural network and then fine-tune the parameters with a small amount of data with true labels. This feels intuitively sub-optimal as these two independent stages leave the model unaware about the varying label quality. What if we could somehow inform the model about the label quality? In this paper, we propose a semi-supervised learning method where we train two neural networks in a multi-task fashion: a "target network" and a "confidence network". The target network is optimized to perform a given task and is trained using a large set of unlabeled data that are weakly annotated. We propose to weight the gradient updates to the target network using the scores provided by the second confidence network, which is trained on a small amount of supervised data. Thus we avoid that the weight updates computed from noisy labels harm the quality of the target network model. We evaluate our learning strategy on two different tasks: document ranking and sentiment classification. The results demonstrate that our approach not only enhances the performance compared to the baselines but also speeds up the learning process from weak labels.

연구 동기 및 목표

• 진짜 레이블이 제한적으로만 이용 가능한 상황에서 깊이 신경망을 훈련하는 데 도전하는 것.
• 훈련 중에 노이즈가 있거나 신뢰할 수 없는 약한 레이블로 인한 성능 저하를 완화하는 것.
• 낮은 신뢰도의 약한 감독 신호를 걸러내어 수렴 속도를 높이는 것.
• 작업 특화 표현 학습과 신뢰도 추정을 하나의 공동 훈련 과정에서 통합하는 것.
• 다양한 NLP 및 정보 검색 작업에서 통제된 약한 감독의 효과를 입증하는 것.

제안 방법

• 목표 네트워크는 히우리스틱 또는 자동화된 약한 레이블러에 의해 약하게 레이블링된 대규모 인스턴스 세트에서 훈련된다.
• 신뢰도 네트워크는 고품질의 인간 레이블링 예제의 소량에서 훈련되어 약한 레이블의 신뢰성을 예측한다.
• 신뢰도 네트워크는 각 인스턴스에 대해 출력하는 점수를 통해 백프로파게이션 중 목표 네트워크의 기울기 업데이트 크기를 조절한다.
• 목표 네트워크의 파라미터는 가중 손실을 사용해 업데이트된다: $\boldsymbol{w}_{t+1} = \boldsymbol{w}_t - \frac{l_t}{b}\sum_{i=1}^{b}c_{\theta}(\tau_i,\tilde{y}_i)\nabla\mathcal{L}(f_{\boldsymbol{w}_t}(\tau_i),\tilde{y}_i) + \nabla\mathcal{R}(\boldsymbol{w}_t)$, 여기서 $c_{\theta}$는 신뢰도 점수이다.
• 목표 네트워크와 신뢰도 네트워크는 공통의 표현 레이어를 공유하여 공동 최적화와 이중 방향의 통신을 가능하게 한다.
• 이 방법은 반감독 설정에서 작동하며, 대규모 약한 레이블을 활용하면서도 진짜 레이블은 감독 품질을 校정하는 데만 사용된다.

실험 결과

연구 질문

• RQ1 소량의 진짜 레이블에서 훈련된 신뢰도 네트워크가 목표 네트워크 훈련 중에 노이즈가 있는 약한 레이블로 인한 해로운 업데이트를 효과적으로 걸러낼 수 있는가?
• RQ2 신뢰도 점수를 통해 기울기 업데이트를 제어하면, 약한 레이블을 사용한 표준 미세조정 대비 수렴 속도가 빨라지는가?
• RQ3 제안된 방법이 약한 감독 전용 기준 모델 대비 검증 및 테스트 세트에서 일반화 성능을 얼마나 향상시키는가?
• RQ4 목표 네트워크와 신뢰도 네트워크의 공동 훈련은 저감독 환경에서 교사-학생 distillation 또는 가짜 레이블링과 비교해 어떻게 다른가?
• RQ5 통제된 약한 감독이 기존의 이중 단계 전훈련 및 미세조정 파이프라인보다 성능이 뛰어난 상황은 어떤가?

주요 결과

• 제안된 방법인 Controlled Weak Supervision (CWS)는 문서 순서 매기기 및 감성 분류 작업에서 모두 Weak Supervision Only (WSO)보다 더 빠른 수렴을 달성한다.
• 검증 세트에서 CWS는 약한 레이블의 불완전성에 의한 과적합을 줄였다는 점에서 WSO보다 손실 감소 속도가 더 빠르게 나타난다.
• CWS는 훈련 인스턴스 수가 훨씬 적은 상황에서 약한 레이블러의 성능을 뛰어넘어 테스트 세트에서 더 높은 성능을 보이며, 효과적인 지식 전이를 입증한다.
• 신뢰도 네트워크는 신뢰할 수 없는 약한 레이블을 성공적으로 식별하여, 이들의 영향력을 파rameter 업데이트에서 줄여 모델의 강건성을 향상시킨다.
• 목표 네트워크와 신뢰도 네트워크의 공동 훈련은 진짜 레이블 데이터가 소량일 때조차 표준 미세조정보다 더 높은 테스트 정확도를 달성한다.
• 실험 결과는 기울기 업데이트를 신뢰도 점수로 제어함으로써 모델의 일반화 능력이 향상되고 노이즈 유도 성능 저하가 감소한다는 점을 확인한다.