[論文レビュー] Predicting the long-term collective behaviour of fish pairs with deep learning

Vaios Papaspyros, Ramón Escobedo+4 more|arXiv (Cornell University)|Feb 14, 2023

Animal Vocal Communication and BehaviorBiochemistry, Genetics and Molecular Biology被引用数 3

ひとこと要約

本論文では、実験的軌道をエンドツーエンドで学習することで、短期的および長期的ダイナミクスを捉えることで、最先端の解析的モデルを上回る、長期間にわたる群れ行動を予測するための深層学習モデルを提示する。このモデルは、長短の記憶を有するLSTMニューラルネットワークを用い、円形の水槽内で行動するヒメミナミハヤのペア（Hemigrammus rhodostomus）の長期的集団行動を予測する。時間的文脈と学習されたノイズを組み込むことで、自発的かつ協調的な旋回、同期運動、壁との相互作用を高精度に再現する。

ABSTRACT

Modern computing has enhanced our understanding of how social interactions shape collective behaviour in animal societies. Although analytical models dominate in studying collective behaviour, this study introduces a deep learning model to assess social interactions in the fish species Hemigrammus rhodostomus. We compare the results of our deep learning approach to experiments and to the results of a state-of-the-art analytical model. To that end, we propose a systematic methodology to assess the faithfulness of a collective motion model, exploiting a set of stringent individual and collective spatio-temporal observables. We demonstrate that machine learning models of social interactions can directly compete with their analytical counterparts in reproducing subtle experimental observables. Moreover, this work emphasises the need for consistent validation across different timescales, and identifies key design aspects that enable our deep learning approach to capture both short- and long-term dynamics. We also show that our approach can be extended to larger groups without any retraining, and to other fish species, while retaining the same architecture of the deep learning network. Finally, we discuss the added value of machine learning in the context of the study of collective motion in animal groups and its potential as a complementary approach to analytical models.

研究の動機と目的

• 魚のペアの長期的集団行動を正確に予測する機械学習モデルの開発。短期的な運動パターンを超えて、長期的ダイナミクスを捉えることを目的とする。
• 動物の群れにおける社会的相互作用の推論において、深層学習アプローチを最先端の解析的モデルと比較してベンチマークすること。
• 深層学習が短期的および長期的ダイナミクスを捉えるために不可欠な設計要因（時間的文脈、出力のばらつきなど）を同定すること。
• ボーリング・アンド・コースト運動パターンを示す他の魚種（例えば、ドジョウ、Danio rerio）に対しても、モデルの一般化可能性を検証すること。
• 厳密な観察量を用いて、複数の時間スケールにわたるモデルの忠実度を評価する体系的な手法を確立すること。

提案手法

• 魚のペアの実験的軌道をエンドツーエンドで学習する深層ニューラルネットワークを構築し、現在の状態と周囲の個体との相互作用に基づいて、次のステップの加速度ベクトル（μx^{n+1}, μy^{n+1}）を予測する。
• モデルの入力には、位置、速度、相手との距離、水槽の壁からの距離を含め、時間窓を4〜5ステップ（0.48〜0.6秒）に設定。これは魚のキックの典型的な持続時間に相当する。
• ネットワークは確率的であり、行動の不確実性を反映するために学習されたノイズを含む。人工的または現象的ノイズの注入を避ける。
• 深さ、幅、活性化関数を変化させた82種類のネットワークアーキテクチャに対して自動的なハイパーパrameterサーチを実施。最終的なモデルは、短期的および長期的観察量の両方で最適な性能を示すものとして選定された。
• 速度相関、旋回率、集団的整列度といった厳密な観察量を用いて、複数の時間スケールにわたってモデルを評価した。
• この手法は、ドジョウ（D. rerio）に対しても拡張され、同様の運動パターンを示す他の魚種へのスケーラビリティを示した。

Figure 1: Probability density functions (PDF) of observables characterizing individual behavior: A Speed $V$ , B distance to the wall $r_{\rm w}$ , and C angle of incidence to the wall $\theta_{\rm w}$ . Black lines: experimental fish data. Blue lines: agents of the Analytical Burst-and-Coast model

実験結果

リサーチクエスチョン

• RQ1 実験的軌道を学習した深層学習モデルは、魚のペアの短期的および長期的集団ダイナミクスを正確に予測できるか？
• RQ2 長期的行動パターンを捉えるために不可欠なアーキテクチャ的および設計的選択（記憶、時間的文脈、出力のばらつきなど）は何か？
• RQ3 深層学習モデルの性能は、実験的集団運動を再現する観点で、最先端の解析的モデルと比べてどの程度優れているか？
• RQ4 訓練済みモデルは、同様のボーリング・アンド・コースト運動パターンを示す他の魚種にどの程度一般化可能か？
• RQ5 複数の時間スケールにわたるモデル忠実度の検証に最も効果的な観察量は何か？

主な発見

• LSTM層を備えた深層学習モデルは、複数の観察量を用いて測定した結果、解析的モデルを上回り、長期的集団ダイナミクス（協調的旋回、整列など）を予測する能力に優れた。
• 自発的旋回行動を高精度に再現でき、これは群れの協調行動や捕食者回避に不可欠である。
• 時間的文脈（4〜5ステップ）の組み込みが、キックと滑走のタイミングを捉えるために不可欠であり、より長い窓では顕著な改善が得られなかった。
• 学習中に得られた出力の多様性が、人工的ノイズの注入を必要とせずに行動のばらつきを的確に捉えており、固定または現象的ノイズを用いたモデルを上回った。
• モデルはドジョウ（D. rerio）に対しても一般化可能であり、同様の運動パターンを示す種へのスケーラビリティを示した。
• 自動ハイパーパrameterサーチの結果、記憶機能（LSTM）を備えた確率的ネットワークが、非確率的および非記憶型の変種を常に上回り、特に長期予測において顕著な優位性を示した。

Figure 2: Probability density functions (PDF) of observables characterizing collective behavior: A Distance between individuals $d_{ij}$ , B difference in heading angles $\phi_{ij}$ , and C angle of perception of the geometrical leader and follower $\psi_{ij}$ . Black lines: experimental fish data.