[논문 리뷰] Multimodal sensor data fusion for in-situ classification of animal behavior using accelerometry and GNSS data

Reza Arablouei, Ziwei Wang외 2명|arXiv (Cornell University)|2022. 06. 24.

Water Quality Monitoring Technologies인용 수 5

한 줄 요약

이 논문은 가속도계 및 GNSS 데이터를 융합하여 현장에서 소의 행동을 분류하는 데 성능을 향상시키는 다중모달 융합 기법을 제안한다. 특히 걷기 및 마시기와 같은 희귀 행동에 대해 효과적이다. 각 센서 모달리티에서 별도의 다층퍼셉트론(MLP) 분류기로부터 유도된 후행 확률을 융합하는 방법은 특징 연결 또는 단일 센서 기반 접근 방식보다 높은 정확도와 효율성을 달성하며, 임베디드 시스템에 적합한 낮은 계산 부하를 유지한다.

ABSTRACT

In this paper, we examine the use of data from multiple sensing modes, i.e., accelerometry and global navigation satellite system (GNSS), for classifying animal behavior. We extract three new features from the GNSS data, namely, distance from water point, median speed, and median estimated horizontal position error. We combine the information available from the accelerometry and GNSS data via two approaches. The first approach is based on concatenating the features extracted from both sensor data and feeding the concatenated feature vector into a multi-layer perceptron (MLP) classifier. The second approach is based on fusing the posterior probabilities predicted by two MLP classifiers. The input to each classifier is the features extracted from the data of one sensing mode. We evaluate the performance of the developed multimodal animal behavior classification algorithms using two real-world datasets collected via smart cattle collar tags and ear tags. The leave-one-animal-out cross-validation results show that both approaches improve the classification performance appreciably compared with using data of only one sensing mode. This is more notable for the infrequent but important behaviors of walking and drinking. The algorithms developed based on both approaches require little computational and memory resources hence are suitable for implementation on embedded systems of our collar tags and ear tags. However, the multimodal animal behavior classification algorithm based on posterior probability fusion is preferable to the one based on feature concatenation as it delivers better classification accuracy, has less computational and memory complexity, is more robust to sensor data failure, and enjoys better modularity.

연구 동기 및 목표

• 가속도계 센서 데이터를 활용하여 희귀하지만 중요한 소의 행동(예: 걷기 및 마시기)을 정확하게 분류하는 데 도전한다.
• 가속도계는 운동을 캡처하지만 공간적 맥락이 부족하고, GNSS는 위치 정보를 제공하지만 시간 해상도가 낮다는 단일 센서 접근 방식의 한계를 극복하기 위해 두 모달리티의 보완적 데이터를 융합한다.
• 저전력 스마트 목걸이 및 귀 태그 임베디드 시스템에 적합한 실시간 배포가 가능한 계산 효율적인 현장 내 분류 알고리즘을 개발한다.
• 두 센서 스트림에서 유도된 분류 특징을 활용하여 모호하거나 희귀한 행동(예: 'alia' 클래스)의 분류 성능을 향상시킨다.
• 제한된 학습 데이터와 센서 노이즈 등의 현실적 제약 조건 하에서, 실제 소 데이터셋을 활용해 제안된 융합 전략의 성능을 평가한다.

제안 방법

• GNSS 데이터에서 세 가지 새로운 특징을 추출: 수영장까지의 거리(DtWP), 도플러 이동으로 추정한 중앙값 속도, 중앙값 수평 위치 오차.
• 두 가지 별도의 융합 전략을 적용: (1) 가속도계 및 GNSS 특징을 하나의 벡터로 연결하여 다층퍼셉트론(MLP) 분류기의 입력으로 사용하고, (2) 각 모달리티에서 별도의 MLP를 학습한 후 후행 확률 출력을 융합한다.
• 일반화 성능 평가를 위해 두 개의 실제 소 데이터셋(스마트 소 목걸이 및 귀 태그에서 수집)을 대상으로 이 animal을 제외한 교차검증(leave-one-animal-out cross-validation)을 수행한다.
• 메모리 및 처리 요구량을 비교하여 두 융합 접근 방식 간의 계산 효율성과 센서 장애에 대한 내성(robustness)을 평가한다.
• 확률 융합 모델에서 행동 클래스 조건 하에 가속도계 및 GNSS 특징 간 조건부 독립을 가정함으로써 모듈식이고 확장 가능한 설계를 가능하게 한다.
• 최종 모델을 현장 내 추론에 대비해 구현하여 저지연 및 최소 자원 소비를 확보함으로써 엣지 배포에 적합한 성능을 확보한다.

Figure 1: The block diagram of the animal behavior classification algorithm using multimodal sensor data via the feature concatenation method.

실험 결과

연구 질문

• RQ1 가속도계 및 GNSS 데이터를 융합하면 단일 센서 모달리티를 사용하는 것보다 현장에서 동물 행동 분류 정확도를 향상시킬 수 있는가?
• RQ2 모달리티별 분류기의 후행 확률을 융합하는 방법이 특징 연결 방식보다 분류 정확도와 계산 효율성 측면에서 뛰어나게 되는가?
• RQ3 제안된 다중모달 접근 방식은 걷기 및 마시기와 같은 희귀 행동을 얼마나 효과적으로 분류할 수 있는가? 이는 가축 건강 모니터링에 핵심적이다.
• RQ4 수영장까지의 거리, 도플러 기반 속도, 위치 오차와 같은 새로운 GNSS 유도 특징이 행동 식별에 얼마나 기여하는가?
• RQ5 특히 현장 조건에서 센서 데이터 장애나 노이즈에 대해 제안된 알고리즘이 얼마나 내성적인가?

주요 결과

• 후행 확률 융합 방법은 특징 연결 방식보다 희귀 행동(예: 걷기 및 마시기)에 대해 더 높은 분류 정확도를 달성했다.
• 확률 융합 방법은 특징 연결 방식보다 계산 및 메모리 자원 소비가 적어 스마트 소 귀 태그에 대한 임베디드 배포에 더 적합했다.
• 두 다중모달 융합 접근 방식 모두 단일 센서 기반 기준보다 분류 성능을 크게 향상시켰으며, 특히 걷기 및 마시기 행동을 구분하는 데서 가장 두드러진 성과를 보였다.
• 수영장까지의 거리(DtWP) 특징은 걷기 행동에 강력한 분류 능력을 지녔다. 이는 실험 영역이 제한되어 있어 걷기 이벤트가 주로 펜에서 패드로의 이동과 관련이 있었기 때문이다.
• GNSS 위치 오차 평균 약 7미터는 DtWP 특징의 유용성을 제한했으며, 이는 더 정밀한 GNSS(예: RTK 또는 DGPS)가 광범위한 현장 적용을 위해 필요하다는 것을 시사한다.
• 'alia' 클래스(예: 낮은 강도의 행동인 털 감추기 및 소리 내기 등 다양한 행동 포함)는 데이터 부족과 높은 클래스 간 변동성으로 인해 여전히 분류하기 어려웠으며, 향후 이와 같은 모호한 카테고리에 대한 의존도를 줄이는 방법이 필요함을 시사한다.

Figure 2: The block diagram of the animal behavior classification algorithm using multimodal sensor data via the posterior probability fusion method.