[논문 리뷰] The Multi-Agent Behavior Dataset: Mouse Dyadic Social Interactions

Jennifer J. Sun, Tomomi Karigo외 9명|PubMed|2021. 04. 06.

Zebrafish Biomedical Research Applications참고 문헌 81인용 수 33

한 줄 요약

CalMS21을 소개합니다. 비표지 데이터와 교차-주석자 스타일 전이, 그리고 소수 샷 학습 과제를 포함한 프레임 단위 행동 분류를 위한 대규모 마우스 사회 상호작용 데이터셋과 기본 벤치마크를 제공합니다.

ABSTRACT

Multi-agent behavior modeling aims to understand the interactions that occur between agents. We present a multi-agent dataset from behavioral neuroscience, the Caltech Mouse Social Interactions (CalMS21) Dataset. Our dataset consists of trajectory data of social interactions, recorded from videos of freely behaving mice in a standard resident-intruder assay. To help accelerate behavioral studies, the CalMS21 dataset provides benchmarks to evaluate the performance of automated behavior classification methods in three settings: (1) for training on large behavioral datasets all annotated by a single annotator, (2) for style transfer to learn inter-annotator differences in behavior definitions, and (3) for learning of new behaviors of interest given limited training data. The dataset consists of 6 million frames of unlabeled tracked poses of interacting mice, as well as over 1 million frames with tracked poses and corresponding frame-level behavior annotations. The challenge of our dataset is to be able to classify behaviors accurately using both labeled and unlabeled tracking data, as well as being able to generalize to new settings.

연구 동기 및 목표

• 프레임 단위 행동 분류를 위한 마우스 사회 상호작용의 크고 공개된 벤치마크 데이터셋을 제공한다.
• 레이블 데이터로의 학습, 주석자 간 스타일 전이, 그리고 새로운 행동에 대한 소수 샷 학습을 가능하게 한다.
• 자기지도학습 및 비지도 표현 학습을 위해 비표지 데이터를 활용하도록 권장한다.
• 다중 에이전트 행동 분석을 신경과학에서 발전시키기 위해 기초 모델을 벤치마크하고 도전 과제 결과를 공개한다.

제안 방법

• 프레임 수준 주석이 있는 600만 개의 비표지 프레임과 100만 개가 넘는 라벨 프레임을 공개한다.
• MARS가 감지한 마우스당 7개의 포즈 키포인트를 제공하여 프레임당 28차원 자세 데이터를 산출한다.
• 세 가지 과제를 정의한다: Task 1 세 가지 행동에 대한 고전적 감독 학습 분류, Task 2 주석자 간 주석 스타일 전이, Task 3 제한된 데이터에서 새로운 행동 학습.
• 프레임 단위 행동 라벨링에 대해 기본 시퀀스 모델(1D CNN, LSTM, Fully Connected, Self-Attention)을 평가한다.
• 비지도 데이터로부터의 특징 학습인 태스크 프로그래밍을 도입하여 감독 분류기를 보강한다.
• Task 1과 Task 2에 대해 MABe Challenge 2021의 최고 성능 제출을 제시한다.

실험 결과

연구 질문

• RQ1 마우스의 포즈 궤적으로부터 프레임 수준의 사회적 행동을 모델이 얼마나 잘 분류할 수 있는가?
• RQ2 주석자의 스타일이 행동 라벨링에 어떤 영향을 미치며 모델이 주석자 간에 전달될 수 있는가?
• RQ3 레이블링된 데이터가 제한된 상황에서 비표지 데이터를 표현 학습에 활용해 새로운 보이지 않는 행동을 모델이 학습할 수 있는가?
• RQ4 자기지도 학습을 통한 비표지 데이터의 도입이 감독 학습된 행동 분류를 향상시키는가?

주요 결과

• 1D 합성곱 신경망은 Task 1 아키텍처 중에서 가장 높은 기본 성능을 달성했다(평균 F1: 0.793, MAP: 0.856).
• 비표지 데이터에서 파생된 태스크 프로그래밍 특성이 Task 1 기본 성능을 향상시켰다.
• MABe 2021의 Task 1 상위 1위 출전자는 기본값보다 더 높은 지표를 달성했다(평균 F1 0.864, MAP 0.914).
• Task 2 결과는 주석자 임베딩과 사전 학습된 Task 1 모델로 주석 스타일 전이가 가능함을 보인다.
• Task 3 결과는 7개의 새로운 행동에 대한 소수샷 학습의 도전과제와 행동 발생 빈도 및 발화 지속 시간에 따라 성능이 달라짐을 보여준다.
• 데이터셋은 비지도 학습 또는 자기지도 학습을 지원하기 위해 약 600만 프레임의 대규모 비표지 데이터를 포함한다.