[논문 리뷰] Learning to Learn from Weak Supervision by Full Supervision

Mostafa Dehghani, Aliaksei Severyn외 2명|arXiv (Cornell University)|2017. 11. 30.

Machine Learning and Data Classification참고 문헌 4인용 수 38

한 줄 요약

이 논문은 소량의 진짜 레이블이 있는 작은 데이터셋으로 훈련된 신뢰도 네트워크를 활용하여, 약한 레이블이 부여된 데이터를 사용해 타겟 신경망을 훈련하는 통합 학습 프레임워크를 제안한다. 이 방법은 레이블 신뢰도에 기반해 기울기 업데이트의 크기를 동적으로 조정함으로써 성능과 수렴 속도를 크게 향상시키며, 표준 미세조정보다 우수한 성능을 보이며 감성 분류 벤치마크에서 최신 기준 성능을 달성한다.

ABSTRACT

In this paper, we propose a method for training neural networks when we have a large set of data with weak labels and a small amount of data with true labels. In our proposed model, we train two neural networks: a target network, the learner and a confidence network, the meta-learner. The target network is optimized to perform a given task and is trained using a large set of unlabeled data that are weakly annotated. We propose to control the magnitude of the gradient updates to the target network using the scores provided by the second confidence network, which is trained on a small amount of supervised data. Thus we avoid that the weight updates computed from noisy labels harm the quality of the target network model.

연구 동기 및 목표

• 진짜 레이블이 소량뿐인 상황에서 강력한 신경망을 훈련하는 데 도전하는 것.
• 훈련 중에 노이즈가 많거나 신뢰할 수 없는 약한 레이블이 모델 성능에 악영향을 미치는 것을 완화하는 것.
• 각 약한 레이블 예제의 추정된 신뢰도에 기반해 그 영향력을 동적으로 조절함으로써 일반화 능력과 수렴 속도를 향상시키는 것.
• 신뢰도 추정과 모델 훈련을 하나의 엔드 투 엔드 미분 가능한 프레임워크로 통합하는 것.

제안 방법

• 이 방법은 다중 작업 방식으로 두 개의 신경망을 동시에 훈련한다: 주 작업을 위한 타겟 네트워크와 메타-학습자 역할을 하는 신뢰도 네트워크.
• 신뢰도 네트워크는 소량의 인간 레이블이 부여된 데이터로 훈련되어 약한 레이블의 신뢰도 점수를 예측한다.
• 역전파 과정에서 타겟 네트워크의 가중치 업데이트 크기는 각 예제의 신뢰도 점수에 의해 스케일링되며, 공식은 다음과 같다: $\boldsymbol{w}_{t+1} = \boldsymbol{w}_{t} - \frac{\eta_{t}}{b}\sum_{i=1}^{b}c_{\theta}(x_{i},\tilde{y}_{i})\nabla\mathcal{L}(f_{\boldsymbol{w_{t}}}(x_{i}),\tilde{y_{i}})$.
• 훈련은 대규모 약한 레이블 데이터셋 $U$와 소규모 진짜 레이블 데이터셋 $V$의 배치를 번갈아가며 수행되어 공동 최적화가 가능해진다.
• 신뢰도 네트워크는 각 예제에 대해 학습률을 校정하는 메타-학습자 역할을 하며, 노이즈가 많은 감시 신호를 효과적으로 동적 필터로 작용시킨다.
• 이 방법은 공통 표현 학습을 통해 약한 데이터로부터의 정보를 공유함으로써, 별도 훈련보다 성능이 뛰어난 통합 훈련 아키텍처로 적용된다.

실험 결과

연구 질문

• RQ1 소량의 진짜 레이블로 훈련된 신뢰도 네트워크가 대규모 약한 레이블 데이터에서 학습할 때 모델 성능을 효과적으로 향상시킬 수 있는가?
• RQ2 레이블 신뢰도에 기반해 기울기 업데이트 크기를 동적으로 스케일링하는 것이 표준 미세조정보다 더 빠른 수렴과 더 나은 일반화를 이끌어내는가?
• RQ3 타겟 네트워크와 신뢰도 네트워크를 함께 훈련하는 것과 별도로 훈련하는 것의 성능 및 수렴 속도 측면에서의 비교는 어떠한가?
• RQ4 이 방법이 레이블 재추정(예: NLI) 또는 히وري스틱 레이블 추론을 사용하는 기존 방법보다 우월한가?

주요 결과

• 제안된 방법인 L2LWS는 SemEval-14(0.7362)와 SemEval-15(0.6626)에서 매크로-F1 점수로 최신 기준 성능을 달성하며, 최고의 보고된 시스템들 모두를 능가한다.
• L2LWS는 약한 감시만 사용하는 경우(WSO)보다 성능이 크게 향상되었으며, SemEval-14에서 6.3%의 상대적 향상, SemEval-15에서는 6.9% 향상되었다.
• WSO보다 수렴 속도가 더 빠르며, 초기 훈련 손실은 더 높지만 검증 손실이 더 빠르게 감소한다.
• 별도 훈련 버전(L2LWS_ST)은 통합 훈련 버전보다 성능이 열 劣하며, 이는 약한 데이터로부터의 공통 표현 학습이 신뢰도 네트워크의 품질을 향상시킨다는 것을 시사한다.
• NLI 기준선은 L2LWS보다 성능이 열 劣하며, 이는 노이즈가 많은 레이블을 필터링하는 것보다 레이블 매핑을 통해 수정하는 것보다 더 효과적이라는 것을 의미한다.
• 이 방법은 더 적은 수의 진짜 레이블 예제로도 약한 감시자 수준의 성능을 달성하며, 제한된 감시 데이터를 효율적으로 활용한다는 것을 입증한다.