[논문 리뷰] Multi Modal Information Fusion of Acoustic and Linguistic Data for Decoding Dairy Cow Vocalizations in Animal Welfare Assessment

Bubacarr Jobarteh, Madalina Mincu외 2명|arXiv (Cornell University)|2024. 11. 01.

Food Supply Chain TraceabilityAgricultural and Biological Sciences인용 수 3

한 줄 요약

이 연구는 젖소의 접촉 부르기 소리의 음향적 특징(주파수, 지속 시간, 강도)과 언어적 전사 자료를 융합하는 다중 모odal 융합 프레임워크를 제안하여 정서 상태를 평가하고 동물 복지를 향상시키고자 한다. 자연어 처리(NLP) 기반 전사와 음향 분석을 융합하고, 머신러닝 모델(Remote Forest, SVM, RNN)을 적용함으로써 이 시스템은 고주파수 상태의 고통(불안정)과 저주파수 상태의 만족(안정)으로 분류하는 데 높은 정확도를 달성하였다. 이는 정밀 축산 농업에서 다중 소스 데이터 융합의 잠재력을 입증한다.

ABSTRACT

Understanding animal vocalizations through multi-source data fusion is crucial for assessing emotional states and enhancing animal welfare in precision livestock farming. This study aims to decode dairy cow contact calls by employing multi-modal data fusion techniques, integrating transcription, semantic analysis, contextual and emotional assessment, and acoustic feature extraction. We utilized the Natural Language Processing model to transcribe audio recordings of cow vocalizations into written form. By fusing multiple acoustic features frequency, duration, and intensity with transcribed textual data, we developed a comprehensive representation of cow vocalizations. Utilizing data fusion within a custom-developed ontology, we categorized vocalizations into high frequency calls associated with distress or arousal, and low frequency calls linked to contentment or calmness. Analyzing the fused multi dimensional data, we identified anxiety related features indicative of emotional distress, including specific frequency measurements and sound spectrum results. Assessing the sentiment and acoustic features of vocalizations from 20 individual cows allowed us to determine differences in calling patterns and emotional states. Employing advanced machine learning algorithms, Random Forest, Support Vector Machine, and Recurrent Neural Networks, we effectively processed and fused multi-source data to classify cow vocalizations. These models were optimized to handle computational demands and data quality challenges inherent in practical farm environments. Our findings demonstrate the effectiveness of multi-source data fusion and intelligent processing techniques in animal welfare monitoring. This study represents a significant advancement in animal welfare assessment, highlighting the role of innovative fusion technologies in understanding and improving the emotional wellbeing of dairy cows.

연구 동기 및 목표

• 젖소 울음소리를 해독하기 위한 다중 모달 데이터 융합 기법을 개발하기 위해.
• 실제 농장 환경에서 소음이 많고 변동성이 큰 데이터로 인해 소의 울음소리를 정확히 해석하는 데 도전하는 데 대해.
• 지능적인 다중 소스 데이터 처리를 통해 정밀 축산 농업에서의 동물 복지 모니터링을 향상시키기 위해.
• 음향적 특징과 언어적 특징을 융합하여 소의 울음소리를 고통 또는 만족 등의 정서 상태로 분류하기 위해.

제안 방법

• 자연어 처리(NLP) 모델을 사용하여 소의 울음소리를 텍스트로 전사하여 언어적 내용을 추출하기 위해.
• 음성 기록에서 주파수, 지속 시간, 강도와 같은 핵심 음향적 특징을 추출하기 위해.
• 고유하게 개발된 온톨로지를 사용하여 언어적 및 음향적 데이터를 융합하여 울음소리의 종합적 표현을 만들기 위해.
• 정서 상태 기반으로 울음소리를 분류하기 위해 랜덤 포레스트, 서포트 벡터 머신, 순환 신경망 등의 머신러닝 모델을 적용하기 위해.
• 융합된 데이터의 언어적 구성 요소를 풍부하게 하기 위해 정서 분석 및 맥락 평가를 수행하기 위해.
• 농장 현장에서 흔히 발생하는 데이터 품질 문제와 계산 자원 요구 사항을 처리하기 위해 모델을 최적화하기 위해.

실험 결과

연구 질문

• RQ1 음향적 특징과 언어적 특징을 효과적으로 융합하여 젖소 울음소리를 더 높은 정확도로 해독할 수 있는가?
• RQ2 주파수 및 강도와 같은 특정 음향적 특징이 고통 또는 만족과 같은 정서 상태와 어떻게 관련되어 있는가?
• RQ3 음향적 특징 외에 전사된 언어적 내용을 통합할 경우, 단일 음향 특징만을 사용할 때보다 울음소리 분류 성능이 얼마나 향상되는가?
• RQ4 실제 농장 환경에서 소의 울음소리를 분류하는 데 가장 우수한 성능을 보이는 머신러닝 모델은 무엇인가?
• RQ5 융합된 다중 모달 데이터에서 신뢰성 있게 추출할 수 있는 정서 지표는 무엇인가?

주요 결과

• 음향적 특징과 언어적 특징을 융합함으로써 단일 모odal 접근 방식에 비해 소의 울음소리 정서 상태 분류 정확도가 크게 향상되었다.
• 고주파수 울음소리는 일관되게 고통 또는 각성 상태와 연관되었고, 저주파수 울음소리는 만족 또는 안정 상태와 관련이 있었다.
• 높은 주파수와 뚜렷한 음역 스펙트럼 패턴은 정서적 고통의 신뢰할 수 있는 지표로 규명되었다.
• 랜덤 포레스트 및 순환 신경망 모델이 복잡하고 노이즈가 많은 농장 환경 데이터를 효과적으로 처리하고 높은 분류 정확도를 달성하는 데 뛰어난 성능을 보였다.
• 전사된 울음소리에 대한 정서 분석 결과, 20只 개별 소에서 일관된 정서 패턴이 확인되어 융합 프레임워크의 신뢰성을 뒷받침하였다.
• 고유한 온톨로지는 울음소리의 구조적 표현 및 분류를 가능하게 하여 시스템의 해석 가능성과 확장성을 향상시켰다.