[論文レビュー] The Multi-Agent Behavior Dataset: Mouse Dyadic Social Interactions

Jennifer J. Sun, Tomomi Karigo+9 more|PubMed|Apr 6, 2021

Zebrafish Biomedical Research Applications参考文献 81被引用数 33

ひとこと要約

CalMS21を紹介します。未ラベルデータ、アノテータ間スタイル転送、少数ショット学習タスクを備えたフレームごとの行動分類の大規模マウス社会相互作用データセットと、ベースラインのベンチマーク。

ABSTRACT

Multi-agent behavior modeling aims to understand the interactions that occur between agents. We present a multi-agent dataset from behavioral neuroscience, the Caltech Mouse Social Interactions (CalMS21) Dataset. Our dataset consists of trajectory data of social interactions, recorded from videos of freely behaving mice in a standard resident-intruder assay. To help accelerate behavioral studies, the CalMS21 dataset provides benchmarks to evaluate the performance of automated behavior classification methods in three settings: (1) for training on large behavioral datasets all annotated by a single annotator, (2) for style transfer to learn inter-annotator differences in behavior definitions, and (3) for learning of new behaviors of interest given limited training data. The dataset consists of 6 million frames of unlabeled tracked poses of interacting mice, as well as over 1 million frames with tracked poses and corresponding frame-level behavior annotations. The challenge of our dataset is to be able to classify behaviors accurately using both labeled and unlabeled tracking data, as well as being able to generalize to new settings.

研究の動機と目的

• マウスの社会相互作用のフレームごとの行動分類のための大規模な公開ベンチマークデータセットを提供する。
• ラベル付きデータでのトレーニングを可能にし、アノテータ間のスタイル転送と新しい行動の少数ショット学習を可能にする。
• 自己教師あり学習や非教師あり表現学習のために未ラベルデータの活用を促進する。
• ベースラインモデルをベンチマークし、マルチエージェント行動分析を神経科学分野で進展させるためのチャレンジ成果を公表する。

提案手法

• 6百万の未ラベルフレームと100万枚超のラベル付きフレームをフレームレベル注釈付きで公開する。
• MARSで検出された1匹あたり7つのポーズキー点を提供し、フレームあたり28次元のポーズデータを得る。
• 3つのタスクを定義する。Task 1 は3つの行動の古典的監視付き分類、Task 2 はアノテータ間の注釈スタイル転送、Task 3 は限られたデータから新しい行動を学習すること。
• フレームごとの行動ラベリングに対して、1D CNN、LSTM、Fully Connected、Self-Attention のベースライン系列モデルを評価する。
• 監督付き分類器を補完するために、未ラベルデータからの教師なし特徴学習を含むタスクプログラミングを組み込む。
• Task 1 および Task 2 のために MABe Challenge 2021 からのトップパフォーマンス提出を紹介する。

実験結果

リサーチクエスチョン

• RQ1 pose軌跡からマウスのフレームレベルの社会的行動をモデルはどれだけ正しく分類できるか？
• RQ2 アノテータのスタイルは行動ラベリングにどのような影響を与え、モデルはアノテータ間で転移できるか？
• RQ3 未ラベルデータを表現学習に利用して、限られたラベルデータから新しく見ない行動を学習できるか？
• RQ4 自己教師あり学習を通じて未ラベルデータを取り入れることは、監視付きの行動分類を改善するか？

主な発見

• 1D Convolutional Neural Network は Task 1 のアーキテクチャの中で最高のベースライン性能を達成した（Average F1: 0.793, MAP: 0.856）。
• 未ラベルデータから導かれたタスクプログラミング機能は Task 1 のベースライン性能を改善した。
• MABe 2021 の Task 1 のトップ1エントリはベースラインよりも高い指標を達成（Average F1 0.864, MAP 0.914）。
• Task 2 の結果は、アノテータ埋め込みと事前訓練済み Task 1 モデルを用いたアノテーションスタイル転送が実現可能であることを示した。
• Task 3 の結果は、7つの新規行動の少数ショット学習には困難が伴い、行動の蔓延度とボウタイ長に依存することを示した。
• データセットには大規模な未ラベルデータ（約6百万フレーム）が含まれており、非教師ありまたは自己教師あり学習を支援する。