[論文レビュー] Relax, it doesn't matter how you get there: A new self-supervised approach for multi-timescale behavior analysis

Mehdi Azabou, Michael Mendelson+5 more|arXiv (Cornell University)|Mar 15, 2023

Anomaly Detection Techniques and Applications被引用数 4

ひとこと要約

本論文は、短時間および長時間の行動ダイナミクスに別々の潜在空間を用いる自己教師ありマルチタイムスケール表現学習フレームワーク、Bootstrap Across Multiple Scales (BAMS) を提案する。未来の行動分布をシーケンスではなく予測することで、負例を必要としない潜在予測損失を用いて訓練する。BAMS は MABe 2022 ベンチマークで最先端の性能を達成し、全体で1位、すべてのシーケンスレベルタスクで1位を獲得した。

ABSTRACT

Natural behavior consists of dynamics that are complex and unpredictable, especially when trying to predict many steps into the future. While some success has been found in building representations of behavior under constrained or simplified task-based conditions, many of these models cannot be applied to free and naturalistic settings where behavior becomes increasingly hard to model. In this work, we develop a multi-task representation learning model for behavior that combines two novel components: (i) An action prediction objective that aims to predict the distribution of actions over future timesteps, and (ii) A multi-scale architecture that builds separate latent spaces to accommodate short- and long-term dynamics. After demonstrating the ability of the method to build representations of both local and global dynamics in realistic robots in varying environments and terrains, we apply our method to the MABe 2022 Multi-agent behavior challenge, where our model ranks 1st overall and on all global tasks, and 1st or 2nd on 7 out of 9 frame-level tasks. In all of these cases, we show that our model can build representations that capture the many different factors that drive behavior and solve a wide range of downstream tasks.

研究の動機と目的

• 注釈が乏しい自然的状況における複雑でマルチタイムスケールの行動ダイナミクスをモデル化する課題に対処すること。
• 微細な短時間ダイナミクスとグローバルな長時間行動パターンの両方を捉える自己教師あり表現学習手法を開発すること。
• フレームレベルおよびシーケンスレベルの予測を含む、多様な行動分析タスクにおいて、堅牢な下流タスクのパフォーマンスを実現すること。
• 既存の対照的または再構築ベースの手法が局所的ダイナミクスに偏りすぎたり、タイムスケールを分離できなかったりする限界を克服すること。

提案手法

• 短時間および長時間の両方の潜在空間で表現を学ぶために、異なる受容 field を持つ2つの別々の時空間畳み込みネットワークを採用する。
• 正確な行動シーケンスの予測ではなく、将来の時間ステップにおける行動の分布を予測する、新しい行動予測目的を導入する。
• 各タイムスケール内でのみ正例を用いる自己教師ありブートストラップベースの訓練方式を採用し、負例の必要性を回避する。
• 予測された行動分布を表現空間における真値の将来の行動分布と一致させるために、予測回帰損失を適用する。
• 各タイムスケール固有のダイナミクスを分離することで、長時間のシーケンス処理が可能になり、各空間での細粒度の保持が可能になる。
• 各タイムスケール内で対照的と似た目的を用いてエンドツーエンドで訓練するが、負例ペアの必要性がないため、長時間シーケンスへのスケーラビリティが向上する。

実験結果

リサーチクエスチョン

• RQ1 明示的な教師なしで、短時間および長時間の行動ダイナミクスの分離表現を自己教師ありモデルが学習できるか？
• RQ2 正確なシーケンスの代わりに将来の行動分布を予測することで、複雑でマルチタイムスケールの行動モデリングが向上するか？
• RQ3 タスク固有の微調整なしに、フレームレベルおよびシーケンスレベルの両方の予測を含む多様な行動タスクに一般化できるか？
• RQ4 異なるタイムスケールに分離された潜在空間の分離が、グローバル行動パターンを含む下流タスクのパフォーマンスに与える影響はいかほどか？

主な発見

• MABe 2022 マルチエージェント行動チャレンジにおいて、モデルは全体で1位を獲得し、4つのシーケンスレベルタスクすべてで1位、9つのフレームレベルタスクのうち3位以内に入った。
• マウス系統の復号というシーケンスレベルタスクにおいて、2番目に良い手法と10%のパフォーマンスギャップを示し、強力なグローバル表現学習を示した。
• 合成の四足歩行ロボット環境では、明示的な教師なしでロボットの形状的特性と地形のダイナミクスの両方を効果的に捉えた。
• 対照的および再構築ベースのアプローチに比べ、細粒度の時間的ダイナミクスを維持しながらも、長時間の行動構造をモデル化できることを示した。
• 訓練中に負例が存在しないため、従来の対照的手法よりも長いシーケンスを処理でき、スケーラビリティが向上した。