[논문 리뷰] CIFT: Crowd-Informed Fine-Tuning to Improve Machine Learning Ability

John P. Lalor, Hao Wu외 1명|arXiv (Cornell University)|2017. 02. 27.

Mobile Crowdsensing and Crowdsourcing참고 문헌 45인용 수 9

한 줄 요약

CIFT는 인과적 반응 이론(Impact Response Theory, IRT)을 활용하여 군중의 반응에서 특화된, 군중 기반의 훈련 세트를 생성하는 새로운 피닝튜닝 프레임워크를 제안한다. 이를 통해 자연어 처리(NLP) 작업에서 딥 네ural 네트워크(DNN)의 성능을 향상시킨다. IRT에서 유도된 데이터를 사용하여 두 가지 다른 손실 함수인 기억화와 분포 일치를 통해 피닝튜닝을 수행함으로써, CIFT는 대규모 벤치마크에서 최신 기술의 RTE 모델 성능을 향상시킨다.

ABSTRACT

Item Response Theory (IRT) allows for measuring ability of Machine Learning models as compared to a human population. However, it is difficult to create a large dataset to train the ability of deep neural network models (DNNs). We propose Crowd-Informed Fine-Tuning (CIFT) as a new training process, where a pre-trained model is fine-tuned with a specialized supplemental training set obtained via IRT model-fitting on a large set of crowdsourced response patterns. With CIFT we can leverage the specialized set of data obtained through IRT to inform parameter tuning in DNNs. We experiment with two loss functions in CIFT to represent (i) memorization of fine-tuning items and (ii) learning a probability distribution over potential labels that is similar to the crowdsourced distribution over labels to simulate crowd knowledge. Our results show that CIFT improves ability for a state-of-the art DNN model for Recognizing Textual Entailment (RTE) tasks and is generalizable to a large-scale RTE test set.

연구 동기 및 목표

• 자연어 처리(NLP) 작업에서 딥 네ural 네트워크(DNN)의 피닝튜닝을 위한 제한적이고 고품질의 훈련 데이터 문제를 해결하기 위해.
• 군중의 반응 패턴을 활용하여 인간과 유사한 추론과 지식을 모델링하여 DNN의 일반화 능력을 향상시키기 위해.
• 특정 항목의 기억화와 집단적 인간 레이블 분포와의 일치를 모두 포함하는 피닝튜닝 방법을 개발하기 위해.
• IRT 기반 데이터를 활용하여 최신 기술의 DNN 모델이 텍스트 유추(RTE) 작업에서 성능을 향상시키기 위해.
• 제안된 CIFT 프레임워크가 소규모 검증을 넘어서 대규모 RTE 테스트 세트에 효과적으로 적용될 수 있음을 보여주기 위해.

제안 방법

• 대규모 군중의 반응 데이터 세트에 인과적 반응 이론(IRT)을 적용하여 항목의 난이도와 분별도 파rameter를 추출하기 위해 모델을 피팅한다.
• 적합된 IRT 모델을 사용하여 난이도와 레이블 분포가 校정된 항목을 포함하는 특화된 보조 훈련 세트를 생성한다.
• IRT에서 유도된 데이터 세트를 사용하여 사전 훈련된 DNN을 피닝튜닝하며, 두 가지 다른 손실 함수를 사용한다: 하나는 정답을 기억하기 위한 것이고, 다른 하나는 군중의 레이블 분포를 일치시키기 위한 것이다.
• IRT에서 유도된 데이터를 피닝튜닝 과정에 통합하여 인간의 추론 패턴을 반영하는 방식으로 파라미터 업데이트를 이끌어내는 방법을 사용한다.
• 원본 데이터와 IRT 기반 데이터를 결합하여 DNN을 훈련시켜 RTE 작업에서의 일반화 능력과 강건성을 향상시킨다.
• 성능 향상과 일반화 능력을 평가하기 위해 대규모 RTE 테스트 세트에서 피팅된 모델을 평가한다.

실험 결과

연구 질문

• RQ1 IRT에서 유도된 군중 기반 데이터는 텍스트 유추(RTE) 작업에서 DNN 성능을 향상시킬 수 있는가?
• RQ2 표준 피닝튜닝과 비교했을 때, IRT로 생성된 데이터를 사용한 피닝튜닝은 모델 능력과 일반화 능력에서 어떤 차이를 보이는가?
• RQ3 피닝튜닝 과정에서 군중의 레이블 분포를 모델링함으로써 DNN에서 인간과 유사한 추론에 더 잘 일치하는가?
• RQ4 CIFT 프레임워크는 소규모 검증을 넘어서 대규모 RTE 벤치마크에 효과적으로 적용될 수 있는가?
• RQ5 CIFT 훈련 목표에서 기억화와 분포 일치의 상대적 기여도는 어떠한가?

주요 결과

• CIFT는 텍스트 유추(RTE) 작업에서 최신 기술의 DNN 모델 성능을 크게 향상시킨다.
• 표준 피닝튜닝과 비교했을 때, IRT 기반 데이터를 피닝튜닝 과정에서 활용함으로써 모델 능력 향상이 명확하게 측정된다.
• CIFT에서의 이중 손실 전략(기억화와 분포 일치의 균형)은 모델의 일반화 능력을 향상시키는 데 효과적임을 입증한다.
• CIFT 프레임워크는 대규모 RTE 테스트 세트로도 잘 일반화되어 있어 강건성과 확장성을 보여준다.
• IRT에서 도출된 훈련 세트는 의미 있는 인간과 유사한 레이블 분포를 포착하고 있어, 모델이 집단적 인간 지식에서 학습할 수 있도록 한다.