[论文解读] Keyword Spotter Model for Crop Pest and Disease Monitoring from Community Radio Data

Benjamin Akera, Joyce Nakatumba‐Nabende+5 more|arXiv (Cornell University)|Oct 5, 2019

Food Supply Chain Traceability参考文献 11被引用 4

一句话总结

本论文提出一种一维卷积神经网络（1D-CNN）关键词检测模型，用于在卢干达语社区广播中检测与农业相关的关键词，采用乌干达农村地区说话者提供的众包音频数据。该模型实现了93%的准确率，显著优于密集基线模型，实现了低成本、实时的低资源环境下作物病虫害监测。

ABSTRACT

In societies with well developed internet infrastructure, social media is the leading medium of communication for various social issues especially for breaking news situations. In rural Uganda however, public community radio is still a dominant means for news dissemination. Community radio gives audience to the general public especially to individuals living in rural areas, and thus plays an important role in giving a voice to those living in the broadcast area. It is an avenue for participatory communication and a tool relevant in both economic and social development.This is supported by the rise to ubiquity of mobile phones providing access to phone-in or text-in talk shows. In this paper, we describe an approach to analysing the readily available community radio data with machine learning-based speech keyword spotting techniques. We identify the keywords of interest related to agriculture and build models to automatically identify these keywords from audio streams. Our contribution through these techniques is a cost-efficient and effective way to monitor food security concerns particularly in rural areas. Through keyword spotting and radio talk show analysis, issues such as crop diseases, pests, drought and famine can be captured and fed into an early warning system for stakeholders and policy makers.

研究动机与目标

• 开发一种低成本、可扩展的方法，利用现有的社区广播数据监测乌干达农村地区的作物病虫害。
• 解决撒哈拉以南非洲地区，特别是在互联网接入有限的地区，缺乏作物健康实时监测系统的问题。
• 使用最少的标注数据，在卢干达语——一种低资源班图语——上构建一个与说话人无关的关键词检测系统。
• 评估1D-CNN在自然语音环境中噪声大、质量差的音频中进行关键词检测的有效性。
• 通过挖掘公开的社区广播内容中的关键关键词，为农业利益相关者建立早期预警系统。

提出的方法

• 从35名用户处收集了18,426个音频样本，每位用户在自然、嘈杂的环境中说出10多个目标关键词（卢干达语和英语）的实例。
• 通过ffmpeg将OGG Vorbis文件转换为8kHz的WAV格式，再使用librosa提取一维波形作为模型输入。
• 设计了一个14层的1D-CNN，包含五个卷积层、最大池化、dropout（0.5）和一个用于10类关键词分类的Softmax输出层。
• 使用Adam优化器以0.001的学习率进行训练，并在验证损失连续10个周期未改善时停止训练。
• 与一个5层的密集神经网络基线模型对比，以评估1D-CNN架构的优越性。
• 使用5,759个样本的测试集对最终模型在未见数据上的性能进行评估。

实验结果

研究问题

• RQ1 尽管录音质量差、噪声大，1D-CNN能否有效检测来自社区广播的低资源卢干达语农业关键词？
• RQ2 在低资源语言中，1D-CNN模型与密集前馈网络相比，在关键词检测准确率上有何差异？
• RQ3 来自农村说话者的众包自然语音数据，在无需大量数据增强的情况下，能在多大程度上支持有效的关键词检测？
• RQ4 在仅使用少量标注数据训练的关键词检测模型，能否在真实农村广播环境中实现高精确率和高召回率？
• RQ5 在撒哈拉以南非洲地区，部署此类系统用于作物病虫害实时早期预警是否可行？

主要发现

• 1D-CNN模型实现了93%的准确率、93%的平均精确率、93%的平均召回率和93%的F1分数，显著优于密集基线模型。
• 密集基线模型仅达到62%的准确率、62%的平均精确率、60%的平均召回率和60%的F1分数，表明其在相同任务上泛化能力差。
• 与基线相比，1D-CNN模型降低了误报率，显示出在关键词检测中更高的精确率。
• 该模型在卢干达语这类低资源语言上表现优异，表明1D-CNN即使在训练数据有限、噪声大且非理想的情况下也具有有效性。
• 结果验证了将社区广播作为低资源、互联网受限地区农业监测实时数据源的可行性。
• 本研究证明，仅使用少量众包音频数据，即可在低资源环境中实现与说话人无关的关键词检测。