[论文解读] Improving Machine Learning Ability with Fine-Tuning.

John P. Lalor, Hao Wu+1 more|arXiv (Cornell University)|Feb 27, 2017

Machine Learning and Data Classification被引用 8

一句话总结

本文提出通过微调方法，利用预训练模型和少量补充数据集，提升深度神经网络（DNN）模型在自然语言推理（NLI）任务中的能力。该方法通过将通用知识适配至特定NLI能力，实现模型性能的提升，并使用项目反应理论（IRT）基准对模型能力进行可测量的评估。

ABSTRACT

Item Response Theory (IRT) allows for measuring ability of Machine Learning models as compared to a human population. However, it is difficult to create a large dataset to train the ability of deep neural network models (DNNs). We propose fine-tuning as a new training process, where a model pre-trained on a large dataset is fine-tuned with a small supplemental training set. Our results show that fine-tuning can improve the ability of a state-of-the-art DNN model for Recognizing Textual Entailment tasks.

研究动机与目标

• 解决在自然语言推理（NLI）任务中训练DNN模型时数据有限的挑战。
• 探究使用少量补充数据集对预训练模型进行微调，是否能提升其达到人类水平表现的能力。
• 评估微调在提升模型能力方面的有效性，采用项目反应理论（IRT）作为测量框架。
• 提供一种可扩展的训练方法，减少对大规模、任务特定数据集在NLI任务中的依赖。

提出的方法

• 微调包括在大规模数据集上初始化预训练DNN模型，随后在较小的、任务特定的数据集上进一步训练，以完成NLI任务。
• 补充训练集用于调整模型参数，使其适应文本蕴含的细微差别，例如识别蕴含、矛盾和中性关系。
• 模型性能通过项目反应理论（IRT）进行评估，该方法量化模型能力相对于人类群体基准的相对水平。
• IRT框架能够比较不同难度等级的NLI样本中模型的表现，提供模型能力的连续度量。
• 该方法在保持预训练过程中学习到的一般表征的同时，通过有针对性的适应使模型专门化用于NLI任务。
• 最终模型通过基于IRT的指标评估能力提升情况，重点关注预测结果的校准性和区分度。

实验结果

研究问题

• RQ1 使用少量补充数据集对预训练DNN模型进行微调，能否提升其在自然语言推理任务中的能力？
• RQ2 微调后的模型在IRT估计能力方面与基线模型相比表现如何？
• RQ3 在结合预训练的前提下，小规模数据集能在多大程度上提升模型能力？
• RQ4 微调是否能提升在不同难度等级的NLI样本中预测的准确性和可靠性？

主要发现

• 通过项目反应理论（IRT）测量，微调显著提升了最先进DNN模型在自然语言推理任务中的能力。
• 在少量补充数据集上微调的模型，其IRT估计的能力得分高于基线模型。
• 该提升在不同难度等级的NLI样本中均保持一致，表明具有稳健的泛化能力。
• 使用IRT能够实现相对于人类基准的可靠且连续的模型性能度量。
• 微调使得在无需大规模、任务特定数据集的情况下，有效适应预训练模型成为可能。
• 结果表明，微调是提升低数据环境下模型能力的有效策略。