[논문 리뷰] MABe22: A Multi-Species Multi-Task Benchmark for Learned Representations of Behavior

Jennifer J. Sun, Marks, Markus외 21명|arXiv (Cornell University)|2022. 07. 21.

Species Distribution and Climate Change인용 수 11

한 줄 요약

MABe22는 쥐, 나비벌레, 열대파리에서 수집한 영상 및 자세 추적 데이터를 활용해 동물 행동의 학습된 표현을 평가하기 위한 대규모 다종의 벤치마크를 제안한다. 다양한 후행 작업—예를 들어 실험 조건 분류 및 전문가가 애너테이션한 행동—에 대해 자기지도 학습 표현 학습 방법을 평가하며, 인간 행동 데이터셋에서 사전 훈련한 모델이 동물 행동으로 일반화하는 데에 빈도가 낮은 성능을 보이며, 트랜스포머 기반 아키텍처가 핵심 작업에서 최고 성능을 기록한다.

ABSTRACT

We introduce MABe22, a large-scale, multi-agent video and trajectory benchmark to assess the quality of learned behavior representations. This dataset is collected from a variety of biology experiments, and includes triplets of interacting mice (4.7 million frames video+pose tracking data, 10 million frames pose only), symbiotic beetle-ant interactions (10 million frames video data), and groups of interacting flies (4.4 million frames of pose tracking data). Accompanying these data, we introduce a panel of real-life downstream analysis tasks to assess the quality of learned representations by evaluating how well they preserve information about the experimental conditions (e.g. strain, time of day, optogenetic stimulation) and animal behavior. We test multiple state-of-the-art self-supervised video and trajectory representation learning methods to demonstrate the use of our benchmark, revealing that methods developed using human action datasets do not fully translate to animal datasets. We hope that our benchmark and dataset encourage a broader exploration of behavior representation learning methods across species and settings.

연구 동기 및 목표

• 다중 에이전트 동물 행동의 학습된 표현을 평가하기 위한 표준화되고 대규모인 벤치마크의 부족을 해결하기 위해.
• 실제 생물학적 실험에서 유도된 애너테이션 기반의 후행 평가 작업을 제공하여 표현 품질을 객관적으로 평가하기 위해.
• 최신 자기지도 비디오 및 궤적 표현 학습 방법이 다양한 종과 실험 조건 간에 얼마나 잘 일반화되는지 평가하기 위해.
• 지역적 시간 동적 특성과 실험적 조절 요소를 잘 포착하는 더 견고하고 데이터 효율적인 행동 표현 모델의 개발을 가능하게 하기 위해.
• 유전적, 광유전자 조작 또는 시계리듬 조작 조건에서의 행동 변화 분석을 자동화하는 데 도움이 되는 표현을 생물학자들에게 제공하기 위해.

제안 방법

• 벤치마크는 쥐(삼중체), 공생하는 나비벌레-개미 쌍, 열대파리(군집)에서 고해상도 영상 및 2차원 자세 추적 데이터를 다양한 실험 조건 하에서 수집한다.
• 실험 변수(유전자 품종, 일시, 광유전자 자극 등)와 전문가가 애너테이션한 행동(예: 추격, 뭉치기, 후각 감지 등)을 프레임 수준에서 포함한 50개 이상의 후행 분류 작업 세트를 도입한다.
• 비디오 클립 또는 궤적 시퀀스에 대해 대비 학습, 마스크된 오토인코더, 트랜스포머(예: T-Perceiver, T-GPT, T-PointNet)와 같은 자기지도 학습 방법을 적용하여 표현을 학습한다.
• 평가에는 작업별 메트릭을 사용한다: 연속 변수에 대해서는 평균 제곱 오차(MSE), 이진 또는 다중 클래스 행동 레이블에 대해서는 F1 점수를 사용하며, 다섯 개의 랜덤 시드 평균을 취한다.
• 행동 이벤트 탐지의 일관성을 확보하기 위해 시간 필터링 및 병합 규칙(예: 최소 지속 시간, 행동 간 간격)을 데이터셋에 포함한다.
• 기준 모델로는 PCA와 단순 궤적 인코더를 사용하며, 다양한 모델 간 성능 비교를 통해 아키텍처의 강점과 한계를 규명한다.

실험 결과

연구 질문

• RQ1 자기지도 비디오 및 궤적 표현 학습 방법이 다양한 동물 종과 행동 맥락 간에 얼마나 잘 일반화되는가?
• RQ2 인간 행동 데이터셋에서 사전 훈련한 모델이 동물 행동 데이터에 대해 얼마나 잘 작동하는가, 특히 미세한 지역적 행동 역학을 포착하는 데에 얼마나 효과적인가?
• RQ3 트랜스포머, 포인트 클라우드, 오토인코더 등의 표현 학습 아키텍처 중에서 실험 조건과 프레임 수준 행동에 대한 정보를 가장 잘 유지하는 것은 무엇인가?
• RQ4 애너테이션 기반 작업이 아닌 후행 작업—예를 들어 광유전자 자극 또는 유전자 품종 분류—가 표현 품질 평가에 신뢰할 수 있고 객관적인 메트릭으로서 기능할 수 있는가?
• RQ5 표현의 데이터 효율성과 시간 민감도가 희귀하거나 짧은 지속 시간을 가지는 행동 이벤트에 대한 성능에 어떻게 영향을 미치는가?

주요 결과

• 트랜스포머 기반 모델, 특히 T-BERT와 T-Perceiver가 다수의 쥐 및 파리 작업 그룹에서 최고 성능을 기록하였으며, T-BERT는 쥐의 접촉 행동에 대해 F1 점수 0.786 ± 0.022를 기록하였다.
• T-PointNet은 쥐 삼중체 데이터에서 뛰어난 성능을 보였다(F1 = 0.697 ± 0.006, 관찰 행동), 이는 다중 에이전트 자세 시퀀스에 대해 포인트 클라우드 모델링이 효과적임을 시사한다.
• PCA 및 단순 기준 모델은 프레임 수준 행동 작업에서 빈약한 성능을 보였다(예: 쥐에서 관찰 행동의 F1 < 0.17), 이는 무 supervision 기준 모델이 지역적 시간 동적 특성을 포착하지 못함을 시사한다.
• 인간 행동 데이터셋에서 사전 훈련한 모델(TVAE 등)은 동물 행동으로의 전이 성능이 제한적이었으며, 접촉 행동에 대한 F1 점수는 0.15 이하였고, 이는 도메인 분리 문제를 강력히 드러낸다.
• 파리 종류 분류(예: 수컷 대 비수컷) 작업은 T-Perceiver를 통해 거의 완벽한 성능(F1 = 0.990 ± 0.000)을 기록하여, 순서 수준의 특성에 대해 강력한 표현 학습 능력을 보였다.
• 모든 모델에서 희귀 행동(예: 구강-생식기 접촉)에 대한 성능은 낮은 편이었으며, 이는 더 향상된 데이터 효율성과 지역적 시간 모델링이 필요함을 시사한다.