[論文レビュー] Multimodal sensor data fusion for in-situ classification of animal behavior using accelerometry and GNSS data

Reza Arablouei, Ziwei Wang+2 more|arXiv (Cornell University)|Jun 24, 2022

Water Quality Monitoring Technologies被引用数 5

ひとこと要約

本論文は、牛の行動分類、特に歩行や飲水といったレア行動のイン・サイト分類を向上させるために、加速度計とGNSSデータを融合するマルチモーダル融合手法を提案する。各センサーモダリティに対して別個に訓練されたMLP分類器の事後確率を統合することで、特徴量の連結や単一センサーアプローチに比べて高い精度と効率性を達成し、組み込みシステムに適した低コストな計算負荷を実現した。

ABSTRACT

In this paper, we examine the use of data from multiple sensing modes, i.e., accelerometry and global navigation satellite system (GNSS), for classifying animal behavior. We extract three new features from the GNSS data, namely, distance from water point, median speed, and median estimated horizontal position error. We combine the information available from the accelerometry and GNSS data via two approaches. The first approach is based on concatenating the features extracted from both sensor data and feeding the concatenated feature vector into a multi-layer perceptron (MLP) classifier. The second approach is based on fusing the posterior probabilities predicted by two MLP classifiers. The input to each classifier is the features extracted from the data of one sensing mode. We evaluate the performance of the developed multimodal animal behavior classification algorithms using two real-world datasets collected via smart cattle collar tags and ear tags. The leave-one-animal-out cross-validation results show that both approaches improve the classification performance appreciably compared with using data of only one sensing mode. This is more notable for the infrequent but important behaviors of walking and drinking. The algorithms developed based on both approaches require little computational and memory resources hence are suitable for implementation on embedded systems of our collar tags and ear tags. However, the multimodal animal behavior classification algorithm based on posterior probability fusion is preferable to the one based on feature concatenation as it delivers better classification accuracy, has less computational and memory complexity, is more robust to sensor data failure, and enjoys better modularity.

研究の動機と目的

• ウェアラブルセンサーデータを用いて、歩行や飲水といった頻度は低いが重要な牛の行動を正確に分類する課題に対処すること。
• 加速度計は運動を捉えるが空間的情報に欠ける一方、GNSSは位置情報を提供するが時間分解能が低いという単一センサーアプローチの限界を、両モダリティの補完的データを融合することで克服すること。
• 低消費電力のスマートキャットコラーやイヤータグに適した、組み込み型のリアルタイム展開に適した計算効率の高い分類アルゴリズムを開発すること。
• 両方のセンサーストリームから得られる特徴を活用することで、曖昧または稀な行動（例：'alia'クラス）の分類性能を向上させること。
• 限られたトレーニングデータやセンサーノイズといった現実的な制約下で、実際の牛のデータセットを用いて、提案手法の融合戦略を評価すること。

提案手法

• GNSSデータから3つの新規特徴量を抽出した：水場までの距離（DtWP）、ドップラー周波数シフトを用いた推定平均速度、平均水平位置誤差。
• 2つの異なる統合戦略を用いた：(1) 加速度計とGNSSの特徴量を1つのベクトルに連結して、マルチレイヤーパーセプトロン（MLP）分類器に入力する方法、(2) 各モダリティごとに別個にMLPを訓練し、その事後確率出力を統合する方法。
• 一般化性能の評価のため、スマートキャットコラーやイヤータグから収集した2つの実世界データセットに対して、1頭を除いた動物を交差検証法で評価した。
• 2つの統合アプローチ間でのメモリおよび処理要件の比較により、計算効率とセンサーサイズに与える影響を評価した。
• 確率統合モデルにおいて、行動クラスが与えられたもとで加速度計とGNSSの特徴量が条件付き独立であると仮定することで、モジュラーかつスケーラブルな設計を可能にした。
• 最終的なモデルをエッジデプロイメントに適した、低遅延かつ最小限のリソース使用を実現するように、オンデバイス推論用に実装した。

Figure 1: The block diagram of the animal behavior classification algorithm using multimodal sensor data via the feature concatenation method.

実験結果

リサーチクエスチョン

• RQ1 加速度計とGNSSデータを統合することで、単一モダリティの使用に比べ、イン・サイトでの動物行動分類の精度が向上するか？
• RQ2 2つのモダリティ固有の分類器の事後確率を統合する手法が、特徴量の連結に比べ、分類精度と計算効率の両面で優れているか？
• RQ3 提案されたマルチモーダル手法は、歩行や飲水といった希少または頻度の低い行動を、家畜の健康モニタリングにとって重要な観点から、どの程度効果的に分類できるか？
• RQ4 水場までの距離、ドップラーに基づく速度、位置誤差といった、新規に導入されたGNSS由来の特徴量が、行動の区別にどの程度寄与しているか？
• RQ5 特に現実のフィールド環境下で、センサーデータの故障やノイズに対して、提案されたアルゴリズムはどの程度の耐性を示すか？

主な発見

• 事後確率統合手法は、特徴量連結に比べて、歩行や飲水といった希少行動においても高い分類精度を達成した。
• 確率統合手法は、特徴量連結に比べて計算リソースとメモリ使用量が少なく、スマートキャットタグへの組み込みに適した設計であった。
• 両方のマルチモーダル統合手法は、単一センサーベースラインに比べて分類性能を顕著に向上させたが、特に歩行と飲水の区別において顕著な改善が見られた。
• 水場までの距離（DtWP）特徴量は、歩行行動の分類において強い識別力を持ち、実験領域が限定的で歩行イベントが主に小屋から放牧場への移動に起因するためと考えられる。
• 平均して約7メートルのGNSS位置誤差は、DtWP特徴量の有用性を制限しており、より高精度なGNSS（例：RTKやDGPS）の導入が、広域での適用性を高めるために必要であると示唆された。
• 'alia'クラス（スクラッチや発声など低強度行動を含む多様な行動）は、データ不足とクラス内変動の高さのため、依然として分類が困難であり、今後の研究でこうした曖昧なカテゴリに依存しない手法の開発が求められる。

Figure 2: The block diagram of the animal behavior classification algorithm using multimodal sensor data via the posterior probability fusion method.