[논문 리뷰] Keyword Spotter Model for Crop Pest and Disease Monitoring from Community Radio Data

Benjamin Akera, Joyce Nakatumba‐Nabende외 5명|arXiv (Cornell University)|2019. 10. 05.

Food Supply Chain Traceability참고 문헌 11인용 수 4

한 줄 요약

이 논문은 루간다어로 된 농촌 지역 공동체 라디오 방송에서 농업 관련 키워드를 탐지하기 위해 군중이 기여한 음성 데이터를 사용하여 1D 컨volutional 신경망(1D-CNN) 키워드 탐지 모델을 제안한다. 모델은 93%의 정확도를 기록하며, 밀도 기반 기준 모델보다 뚜렷하게 뛰어나, 자원이 제한된 환경에서 저비용으로 실시간으로 작물 해충 및 병해를 감시할 수 있게 한다.

ABSTRACT

In societies with well developed internet infrastructure, social media is the leading medium of communication for various social issues especially for breaking news situations. In rural Uganda however, public community radio is still a dominant means for news dissemination. Community radio gives audience to the general public especially to individuals living in rural areas, and thus plays an important role in giving a voice to those living in the broadcast area. It is an avenue for participatory communication and a tool relevant in both economic and social development.This is supported by the rise to ubiquity of mobile phones providing access to phone-in or text-in talk shows. In this paper, we describe an approach to analysing the readily available community radio data with machine learning-based speech keyword spotting techniques. We identify the keywords of interest related to agriculture and build models to automatically identify these keywords from audio streams. Our contribution through these techniques is a cost-efficient and effective way to monitor food security concerns particularly in rural areas. Through keyword spotting and radio talk show analysis, issues such as crop diseases, pests, drought and famine can be captured and fed into an early warning system for stakeholders and policy makers.

연구 동기 및 목표

• 기존 공동체 라디오 데이터를 활용하여 루간다의 농촌 지역에서 작물 해충 및 병해를 저비용으로 확장 가능한 방법으로 감시할 수 있는 방법을 개발한다.
• 특히 인터넷 액세스가 제한된 지역에서 농작물 건강에 대한 실시간 감시 시스템이 부족한 문제를 해결한다.
• 최소한의 레이블링된 데이터를 사용하여 루간다어, 즉 자원이 제한된 반타어 언어에 대해 발화자 독립적인 키워드 탐지 시스템을 구축한다.
• 자연어 발화 환경에서의 노이즈가 많고 품질이 낮은 음성에서 1D-CNN의 키워드 탐지 성능을 평가한다.
• 공동체 라디오 콘텐츠에서 핵심 키워드를 추출하여 农업 이해관계자에게 조기 경보 시스템을 제공한다.

제안 방법

• 35명의 사용자로부터 18,426개의 음성 샘플을 확보하였으며, 각 사용자는 루간다어와 영어로 10개 이상의 목표 키워드를 자연스럽고 노이즈가 많은 환경에서 발화하였다.
• 음성 데이터를 ffmpeg를 사용해 OGG Vorbis 형식에서 8kHz WAV 형식으로 변환하고, librosa를 통해 1D 웨이브포드를 추출하여 모델 입력으로 사용하였다.
• 14층의 1D-CNN을 설계하였으며, 5개의 컨볼루션 계층, 맥스 풀링, 드롭아웃(0.5), 10개 클래스의 키워드 분류를 위한 소프트맥스 출력 계층을 포함하였다.
• 학습을 위해 Adam 최적화 기법을 사용하였고, 학습률은 0.001로 설정하였으며, 검증 손실 개선이 10 에포크 동안 없을 경우 조기 종료를 적용하였다.
• 1D-CNN 아키텍처의 우수성을 평가하기 위해 5층의 밀도 기반 신경망 기준 모델과 성능을 비교하였다.
• 미리 보지 않은 데이터에 대한 최종 모델 성능 평가를 위해 5,759개의 테스트 샘플을 사용하였다.

실험 결과

연구 질문

• RQ1 노이즈가 많고 품질이 낮은 녹음 환경에서, 1D-CNN이 자원이 제한된 루간다어 말하기에서 농업 관련 키워드를 효과적으로 탐지할 수 있는가?
• RQ2 자원이 제한된 언어에서 키워드 탐지 정확도 측면에서 1D-CNN 모델이 밀도 기반 피드포워드 네트워크보다 어떻게 비교되는가?
• RQ3 농촌 지역에서 기여된 자연스러운 발화 데이터는 광범위한 데이터 증강 없이도 효과적인 키워드 탐지에 기여할 수 있는가?
• RQ4 최소한의 레이블링된 데이터로 학습된 키워드 탐지 모델이 실제 농촌 방송 환경에서 높은 정밀도와 재현율을 달성할 수 있는가?
• RQ5 아프리카 서부 지역에서 실시간으로 작물 해충 및 병해를 경보하는 데에 이러한 시스템을 구현하는 데 실현 가능성이 있는가?

주요 결과

• 1D-CNN 모델은 93%의 정확도, 93%의 평균 정밀도, 93%의 평균 재현율, 93%의 F1 스코어를 기록하였으며, 밀도 기반 기준 모델보다 뚜렷하게 뛰어난 성능을 보였다.
• 밀도 기반 기준 모델은 오직 62%의 정확도, 62%의 평균 정밀도, 60%의 평균 재현율, 60%의 F1 스코어를 기록하여 동일한 작업에서 일반화 능력이 떨어지는 것으로 나타났다.
• 1D-CNN 모델은 기준 모델 대비 양성 오류율을 낮춰, 키워드 탐지에서 더 높은 정밀도를 보였다.
• 루간다어와 같이 자원이 제한된 언어에서 높은 성능을 기록한 것은, 1D-CNN이 제한적이고 노이즈가 많으며 비표준적인 학습 데이터로도 효과적일 수 있음을 시사한다.
• 결과적으로 공동체 라디오를 자원이 제한된 지역에서 실시간으로 농업 감시를 위한 데이터 소스로 활용할 수 있음을 검증하였다.
• 본 연구는 자원이 제한된 환경에서 최소한의 군중 기여 음성 데이터로도 발화자 독립적인 키워드 탐지가 가능하다는 점을 입증하였다.