[论文解读] Fine-tuning BERT-based models for Plant Health Bulletin Classification

Shufan Jiang, Rafael Angarita+2 more|arXiv (Cornell University)|Jan 29, 2021

Advanced Text Analysis Techniques参考文献 6被引用 4

一句话总结

本文提出微调基于 BERT 的模型——具体为多语言 BERT 和 CamemBERT——以对法语植物健康公报（BSV）进行害虫与病害类别的分类。使用 200 个样本的数据集，该方法在生物侵害者分类上达到 85% 的准确率，在病害分类上达到 82.5% 的准确率，证明了 BERT 在从农业文本中提取语义特征方面的有效性，并能泛化到社交媒体推文等异构数据源。

ABSTRACT

In the era of digitization, different actors in agriculture produce numerous data. Such data contains already latent historical knowledge in the domain. This knowledge enables us to precisely study natural hazards within global or local aspects, and then improve the risk prevention tasks and augment the yield, which helps to tackle the challenge of growing population and changing alimentary habits. In particular, French Plants Health Bulletins (BSV, for its name in French Bulletin de Sant{é} du V{é}g{é}tal) give information about the development stages of phytosanitary risks in agricultural production. However, they are written in natural language, thus, machines and human cannot exploit them as efficiently as it could be. Natural language processing (NLP) technologies aim to automatically process and analyze large amounts of natural language data. Since the 2010s, with the increases in computational power and parallelization, representation learning and deep learning methods became widespread in NLP. Recent advancements Bidirectional Encoder Representations from Transformers (BERT) inspire us to rethink of knowledge representation and natural language understanding in plant health management domain. The goal in this work is to propose a BERT-based approach to automatically classify the BSV to make their data easily indexable. We sampled 200 BSV to finetune the pretrained BERT language models and classify them as pest or/and disease and we show preliminary results.

研究动机与目标

• 开发一种用于法语植物健康公报（BSV）的自动化文本分类系统，以改善数据索引与检索。
• 评估基于 BERT 的模型是否能有效分类 BSV 中的植物检疫风险，相较于 PestObserver 等基于规则的系统。
• 评估微调后的 BERT 模型在异构文本数据（包括社交媒体推文）上的泛化能力。
• 探索 BERT 在表示农业自然语言数据中潜在语义关系方面的潜力。

提出的方法

• 在 200 个样本的法语 BSV 数据集上微调多语言 BERT 和 CamemBERT 模型，该数据集已用生物侵害者和病害标签进行标注。
• 通过去除标点符号、URL、停用词和冗余空格对 BSV 文本进行预处理，以提升模型输入质量。
• 使用 FrenchCropUsage 术语表和现有 BSV 标签，对训练数据进行筛选与对齐，使其与领域特定概念一致。
• 采用多标签分类方法，使用交叉熵损失和 softmax 激活函数，以预测每份公报的多个风险类别。
• 使用标准 NLP 指标评估模型性能：准确率、精确率、召回率、F1 分数和 ROC-AUC。
• 通过将微调后的模型应用于社交媒体的实时推文，测试其泛化能力，使用从 BSV 衍生的概念作为标签。

实验结果

研究问题

• RQ1 基于 BERT 的模型能否在法语植物健康公报上实现高精度的害虫与病害检测分类？
• RQ2 微调后的 BERT 模型在分类 BSV 内容方面，与 PestObserver 等基于规则的系统相比表现如何？
• RQ3 在 BSV 上微调的 BERT 模型，能在多大程度上泛化到分类非正式、异构的来源（如社交媒体推文）中的风险相关内容？
• RQ4 BERT 能否有效捕捉农业文本中超越关键词匹配的潜在语义关系？

主要发现

• 微调后的 BERT 模型在 BSV 中生物侵害者的分类上达到 85% 的准确率，精确率为 62.96%，召回率为 89.47%。
• 在病害分类方面，模型达到 82.5% 的准确率，精确率为 72.22%，召回率为 59.09%。
• 两类别的加权 F1 分数为 0.65，表明在类别不平衡的数据集上表现均衡。
• ROC-AUC 得分为 0.9135，表明其具有强大的判别能力，尤其对正样本类别。
• 该模型成功利用从 BSV 衍生的标签，对实时社交媒体推文中的风险相关内容进行了有效分类，展现出良好的泛化潜力。
• 结果表明，基于 BERT 的模型在捕捉语义复杂性方面优于基于规则的系统，并减少了对手动标注的依赖。