[논문 리뷰] Soft Label Memorization-Generalization for Natural Language Inference

John P. Lalor, Hao Wu외 1명|arXiv (Cornell University)|2017. 02. 27.

Multimodal Machine Learning Applications참고 문헌 28인용 수 5

한 줄 요약

이 논문은 자연어 추론(NLI)에서 깊이 신경망의 일반화 성능을 향상시키기 위해 인간의 애매함을 반영하는 라벨에 대한 분포인 소프트 라벨을 소량의 훈련 데이터에 통합하는 소프트 라벨 기억-일반화(SLMG)라는 피니튜닝 방법을 제안한다. SNLI 훈련 세트의 단지 0.03%만을 소프트 라벨로 사용함에도 불구하고, SLMG는 여러 DNN 모델에서 테스트 정확도를 크게 향상시켰으며, 이는 라벨의 애매함을 모델링함으로써 표준 하드 라벨 훈련을 초월해 일반화 성능을 향상시킬 수 있음을 보여준다.

ABSTRACT

Often when multiple labels are obtained for a training example it is assumed that there is an element of noise that must be accounted for. It has been shown that this disagreement can be considered signal instead of noise. In this work we investigate using soft labels for training data to improve generalization in machine learning models. However, using soft labels for training Deep Neural Networks (DNNs) is not practical due to the costs involved in obtaining multiple labels for large data sets. We propose soft label memorization-generalization (SLMG), a fine-tuning approach to using soft labels for training DNNs. We assume that differences in labels provided by human annotators represent ambiguity about the true label instead of noise. Experiments with SLMG demonstrate improved generalization performance on the Natural Language Inference (NLI) task. Our experiments show that by injecting a small percentage of soft label training data (0.03% of training set size) we can improve generalization performance over several baselines.

연구 동기 및 목표

• 라벨 불확실성을 노이즈로 간주하는 대신 이를 모델링함으로써 NLP에서 모델의 일반화 성능을 향상시키는 것.
• 소량의 소프트 라벨 데이터가 NLI를 위한 딥 러닝 모델의 성능 향상에 기여할 수 있는지 조사하는 것.
• 전체 재학습이 필요 없이 기존의 소프트 라벨 분포를 활용하는 실용적인 피니튜닝 프레임워크를 개발하는 것.
• 인간의 애매함을 반영하는 소프트 라벨이 표준 하드 라벨 피니튜닝 및 데이터 증강보다 우수한 성능을 낼 수 있음을 입증하는 것.

제안 방법

• SLMG 프레임워크는 소프트 라벨가 포함된 소량의 훈련 데이터에 대해 사전 학습된 DNN을 피니튜닝한다. 이 소프트 라벨은 군중 평가에서 유래한다.
• 소프트 라벨는 각 전제-가설 쌍에 대해 1,000명의 아마존 메카니컬 터크(AMT) 작업자 평가를 기반으로 하며, 세 가지 NLI 클래스(함의, 모순, 중립)에 대한 분포를 형성한다.
• 모델는 소프트 라벨 분포를 고려한 크로스 엔트로피 손실을 사용하여 훈련되며, 이는 기울기가 하드 예측을 강요하는 대신 불확실성을 반영하도록 한다.
• 이 방법은 소프트 라벨 예제의 소량(0.03%)을 보조 훈련 세트로 사용하며, 더 큰 하드 라벨 데이터셋 위에 모델을 피니튜닝한다.
• 이 방법은 라벨 불일치가 노이즈가 아니라 애매함을 반영한다고 가정하며, 이로 인해 과도한 확신을 피하고 과적합을 줄인다.
• 프레임워크는 세 가지 다른 DNN 아키텍처를 사용하여 SNLI 데이터셋에서 평가되며, SLMG는 표준 피니튜닝 및 데이터 증강 기반 모델과 비교된다.

실험 결과

연구 질문

• RQ1 인간 평가자 애매함을 반영하는 소프트 라벨을 통합하면 NLI 모델의 일반화 성능이 향상되는가?
• RQ2 단지 0.03%의 소프트 라벨 데이터만을 사용할 경우, 표준 하드 라벨 훈련 대비 성능 향상이 측정 가능한가?
• RQ3 추가로 레이블이 없는 데이터를 사용하는 데이터 증강 기반 모델과 비교해 SLMG는 어떻게 성능을 냈는가?
• RQ4 애매함을 반영하는 소프트 라벨은 과적합을 줄이고 딥 뉴럴 네트워크의 테스트 세트 정확도를 향상시킬 수 있는가?
• RQ5 모델의 불확실성과 라벨 분포 측면에서 SLMG가 가장 큰 성능 향상을 보이는 조건은 무엇인가?

주요 결과

• SLMG는 SNLI 벤치마크에서 세 가지 다른 DNN 모델에 대해 테스트 세트 정확도를 향상시켰으며, 훈련 데이터의 단지 0.03%만 소프트 라벨로 사용함에도 불구하고 성능 향상을 이뤘다.
• 추가로 레이블이 없는 데이터를 사용한 강력한 베이스라인 모델보다 성능이 뛰어나, 이 설정에서는 소프트 라벨 정보가 원시 데이터 양보다 더 효과적임을 시사한다.
• 소프트 라벨로 피니튜닝한 모델은 과적합이 감소했으며, 소프트 라벨 분포가 애매한 예시에 대해 예측 확률을 극단적인 값(1.0)으로 몰아붙이지 않도록 하였다.
• 성능 향상은 인간 평가자가 높은 불일치를 보인 어려운 예제에서 가장 두드러졌으며, 이는 소프트 라벨이 과제 난이도를 효과적으로 포착하고 있음을 시사한다.
• 결과적으로 인간의 애매함을 반영하는 소프트 라벨는 소량의 훈련 데이터에 적용되어도 일반화 성능을 향상시킬 수 있는 인덕티브 바이어스의 형태로 기능할 수 있음을 입증하였다.
• 연구는 라벨 불확실성이 적절히 모델링될 경우, 이는 NLP 훈련에서 노이즈가 아니라 유의미한 신호임을 경험적으로 입증하였다.