[論文レビュー] Multi Modal Information Fusion of Acoustic and Linguistic Data for Decoding Dairy Cow Vocalizations in Animal Welfare Assessment

Bubacarr Jobarteh, Madalina Mincu+2 more|arXiv (Cornell University)|Nov 1, 2024

Food Supply Chain TraceabilityAgricultural and Biological Sciences被引用数 3

ひとこと要約

本研究では、乳牛の接触鳴き声の音声的特徴（周波数、持続時間、強度）と言語的転写を統合するマルチモーダル融合フレームワークを提案し、感情状態の評価と動物福祉の向上を目的としている。自然言語処理（NLP）を用いた転写と音声分析を統合し、機械学習モデル（ランダムフォレスト、SVM、RNN）を適用することで、高周波数の苦痛状態と低周波数の満足状態に分類するという高い正確性を達成した。本研究は、精密畜産におけるマルチソースデータ統合の可能性を示している。

ABSTRACT

Understanding animal vocalizations through multi-source data fusion is crucial for assessing emotional states and enhancing animal welfare in precision livestock farming. This study aims to decode dairy cow contact calls by employing multi-modal data fusion techniques, integrating transcription, semantic analysis, contextual and emotional assessment, and acoustic feature extraction. We utilized the Natural Language Processing model to transcribe audio recordings of cow vocalizations into written form. By fusing multiple acoustic features frequency, duration, and intensity with transcribed textual data, we developed a comprehensive representation of cow vocalizations. Utilizing data fusion within a custom-developed ontology, we categorized vocalizations into high frequency calls associated with distress or arousal, and low frequency calls linked to contentment or calmness. Analyzing the fused multi dimensional data, we identified anxiety related features indicative of emotional distress, including specific frequency measurements and sound spectrum results. Assessing the sentiment and acoustic features of vocalizations from 20 individual cows allowed us to determine differences in calling patterns and emotional states. Employing advanced machine learning algorithms, Random Forest, Support Vector Machine, and Recurrent Neural Networks, we effectively processed and fused multi-source data to classify cow vocalizations. These models were optimized to handle computational demands and data quality challenges inherent in practical farm environments. Our findings demonstrate the effectiveness of multi-source data fusion and intelligent processing techniques in animal welfare monitoring. This study represents a significant advancement in animal welfare assessment, highlighting the role of innovative fusion technologies in understanding and improving the emotional wellbeing of dairy cows.

研究の動機と目的

• 乳牛の鳴き声を解読するためのマルチモーダルデータ統合手法を開発すること。
• 騒音が多く変動が激しい実環境農場における牛の鳴き声を正確に解釈する課題に対処すること。
• 多様な情報源からのデータ処理を活用して、精密畜産における動物福祉の監視を向上させること。
• 音声的および言語的特徴を統合して、苦痛や満足といった感情状態に分類すること。

提案手法

• 自然言語処理（NLP）モデルを用いて牛の鳴き声をテキストに変換し、言語的コンテンツを抽出する。
• 音声記録から周波数、持続時間、強度といった重要な音声的特徴を抽出する。
• 独自に開発したオントロジーを用いて言語的および音声的データを統合し、鳴き声の包括的表現を構築する。
• ランダムフォレスト、サポートベクターマシン、再帰ニューラルネットワークといった機械学習モデルを適用し、感情状態に基づいて鳴き声を分類する。
• 感情分析と文脈的評価を用いて、統合データの言語的側面を強化する。
• 農場環境に一般的に見られるデータ品質の問題や計算リソースの制限に対応するため、モデルを最適化する。

実験結果

リサーチクエスチョン

• RQ1 音声的および言語的特徴を効果的に統合することで、乳牛の鳴き声の解読が、単一モodalアプローチよりも正確に可能になるか？
• RQ2 周波数や強度といった特定の音声的特徴が、苦痛や満足といった感情状態とどのように相関するか？
• RQ3 音声的特徴に加えて、転写された言語的コンテンツを組み込むことで、鳴き声分類の性能がどの程度向上するか？
• RQ4 実環境農場条件下で、牛の鳴き声分類に最も適した機械学習モデルは何か？
• RQ5 統合されたマルチモーダルデータから、動物福祉評価を支援する信頼性のある感情指標をどの程度抽出できるか？

主な発見

• 音声的および言語的データの統合により、単一モーダル手法に比べ、牛の鳴き声の感情状態への分類精度が顕著に向上した。
• 高周波数の鳴き声は、苦痛や覚醒状態と一貫して関連づけられたのに対し、低周波数の鳴き声は満足や落ち着きと関連づけられた。
• 周波数の上昇や明確な音響スペクトルパターンが、感情的苦痛の信頼できる指標であることが同定された。
• ランダムフォレストおよび再帰ニューラルネットワーク（RNN）モデルは、複雑でノイズの多い農場データを効果的に処理し、高い分類正確性を達成した。
• 転写された鳴き声に対する感情分析により、20頭の個体にわたり一貫した感情パターンが確認され、統合フレームワークの信頼性が裏付けられた。
• 独自のオントロジーにより、鳴き声の構造的表現と分類が可能となり、システムの解釈可能性とスケーラビリティが向上した。