[논문 리뷰] Predicting the long-term collective behaviour of fish pairs with deep learning

Vaios Papaspyros, Ramón Escobedo외 4명|arXiv (Cornell University)|2023. 02. 14.

Animal Vocal Communication and BehaviorBiochemistry, Genetics and Molecular Biology인용 수 3

한 줄 요약

이 논문은 실험적 궤적을 기반으로 엔드 투 엔드 훈련을 통해 짧고 긴 기간의 역학을 모두 포착하는, 장기 기억 신경망(LSTM)을 사용한 딥러닝 모델을 소개한다. 이 모델은 원형 탱크 내에서 물고기 쌍(Hemigrammus rhodostomus)의 장기적 집단 행동을 예측하는 데 성공적으로 적용되었으며, 상태의 최고 분석 모델을 능가했다. 모델은 학습된 노이즈를 통해 시간적 맥락과 행동 변동성을 반영함으로써 자발적 방향 전환, 조율된 운동, 벽과의 상호작용을 높은 정확도로 재현하였다.

ABSTRACT

Modern computing has enhanced our understanding of how social interactions shape collective behaviour in animal societies. Although analytical models dominate in studying collective behaviour, this study introduces a deep learning model to assess social interactions in the fish species Hemigrammus rhodostomus. We compare the results of our deep learning approach to experiments and to the results of a state-of-the-art analytical model. To that end, we propose a systematic methodology to assess the faithfulness of a collective motion model, exploiting a set of stringent individual and collective spatio-temporal observables. We demonstrate that machine learning models of social interactions can directly compete with their analytical counterparts in reproducing subtle experimental observables. Moreover, this work emphasises the need for consistent validation across different timescales, and identifies key design aspects that enable our deep learning approach to capture both short- and long-term dynamics. We also show that our approach can be extended to larger groups without any retraining, and to other fish species, while retaining the same architecture of the deep learning network. Finally, we discuss the added value of machine learning in the context of the study of collective motion in animal groups and its potential as a complementary approach to analytical models.

연구 동기 및 목표

• 물고기 쌍의 장기적 집단 행동을 정확하게 예측할 수 있는 기계학습 모델을 개발하는 것.
• 동물 군집 내 사회적 상호작용 추론을 위해 딥러닝 접근법을 상태의 최고 분석 모델과 비교 평가하는 것.
• 딥러닝이 짧고 긴 기간의 역학을 모두 포착할 수 있도록 하는 핵심 설계 요소—예: 시간적 맥락, 출력 변동성—를 규명하는 것.
• 유사한 버스트-코스팅 수영 패턴을 보이는 다른 물고기 종, 예를 들어 제브라피시(Danio rerio)와의 일반화 능력을 검증하는 것.
• 엄격한 관측 변수를 사용하여 다양한 시간스케일에서 모델의 충실도를 평가하는 체계적인 방법론을 수립하는 것.

제안 방법

• 장기 기억 신경망(LSTM)을 갖춘 딥 네ural 네트워크를 실험적 궤적에 대해 엔드 투 엔드로 훈련하여, 현재 상태와 이웃 상호작용을 바탕으로 다음 단계의 가속도 벡터(μx^{n+1}, μy^{n+1})를 예측한다.
• 모델 입력은 현재 시간의 위치, 속도, 이웃과의 거리, 탱크 벽과의 거리를 포함하며, 시간 창은 4~5개 타임스텝(0.48~0.6초)으로 설정되어 있어 물고기의 발차기 지속 시간을 반영한다.
• 네트워크는 확률적이며, 행동의 불확실성을 반영하기 위해 학습된 노이즈를 포함하여 인위적 또는 현상학적 노이즈 주입을 피한다.
• 깊이, 너비, 활성화 함수를 다양하게 조합한 총 82종의 네트워크 아키텍처에 대해 자동 하이퍼파rameter 검색을 수행하였으며, 짧고 긴 기간 관측 변수 모두에서 최적 성능을 보인 최종 모델을 선정하였다.
• 모델 평가에는 다양한 시간스케일에서 속도 상관관계, 회전률, 집단 정렬도 등의 엄격한 관측 변수 세트를 사용하였다.
• 이 방법은 제브라피시(D. rerio)로 확장되어, 유사한 수영 패턴을 보이는 다른 물고기 종에 대한 확장성도 입증하였다.

Figure 1: Probability density functions (PDF) of observables characterizing individual behavior: A Speed $V$ , B distance to the wall $r_{\rm w}$ , and C angle of incidence to the wall $\theta_{\rm w}$ . Black lines: experimental fish data. Blue lines: agents of the Analytical Burst-and-Coast model

실험 결과

연구 질문

• RQ1 실험적 궤적을 기반으로 훈련된 딥러닝 모델이 물고기 쌍의 짧고 긴 기간 집단 역학을 정확하게 예측할 수 있는가?
• RQ2 장기적 행동 패턴을 포착하기 위해 필수적인 아키텍처 및 설계 선택 사항—예를 들어 기억 기능, 시간적 맥락, 출력 변동성—은 무엇인가?
• RQ3 딥러닝 모델의 성능이 실험적 집단 운동을 재현하는 데 있어 상태의 최고 분석 모델과 비교해 어떻게 되는가?
• RQ4 학습된 모델이 유사한 버스트-코스팅 수영 행동을 보이는 다른 물고기 종에 얼마나 일반화되는가?
• RQ5 다양한 시간스케일에서 모델 충실도를 검증하는 데 가장 효과적인 관측 변수는 무엇인가?

주요 결과

• LSTM 레이어를 갖춘 딥러닝 모델은 다양한 관측 변수를 통해 측정된 바에 비추어, 조율된 방향 전환과 정렬과 같은 장기적 집단 역학 예측에서 분석 모델을 능가하였다.
• 모델은 자발적 방향 전환 행동을 매우 높은 정확도로 재현하여, 군집 조율과 천적 회피에 핵심적인 역할을 하였다.
• 시간적 맥락(4~5타임스텝)의 포함이 필수적이었으며, 물고기의 발차기와 정지 단계의 타이밍을 포착하는 데 기여하였다. 더 긴 창 크기는 추가적인 성능 향상을 보이지 않았다.
• 훈련 과정에서 학습된 출력 다양성은 인위적 노이즈 주입 없이도 행동의 변동성을 성공적으로 반영하였으며, 고정 또는 현상학적 노이즈를 사용한 모델보다 우수한 성능을 보였다.
• 모델은 제브라피시(D. rerio)로 일반화되었으며, 유사한 수영 패턴을 가진 종들 간의 확장성은 입증되었다.
• 자동 하이퍼파rameter 검색 결과, 기억 기능을 갖춘 확률적 네트워크(LSTM)가 비확률적 및 비기억 기반 변형보다 항상 뛰어난 성능을 보였으며, 특히 장기 예측에서 두드러졌다.

Figure 2: Probability density functions (PDF) of observables characterizing collective behavior: A Distance between individuals $d_{ij}$ , B difference in heading angles $\phi_{ij}$ , and C angle of perception of the geometrical leader and follower $\psi_{ij}$ . Black lines: experimental fish data.