[论文解读] Characterizing the structure of mouse behavior using Motion Sequencing

Sherry Lin, Winthrop F. Gillis+6 more|arXiv (Cornell University)|Nov 15, 2022

Cell Image Analysis Techniques被引用 6

一句话总结

本文提出运动分序（MoSeq）方法，一种无监督机器学习框架，利用三维视频和行为音节将小鼠行为分解为模块化、顺序性的运动。通过应用该方法，研究人员可定量追踪基因、药物或神经操作对行为结构的影响，输出包括音节标签和随时间变化的转换动态。

ABSTRACT

Spontaneous mouse behavior is composed from repeatedly-used modules of movement (e.g., rearing, running, grooming) that are flexibly placed into sequences whose content evolves over time. By identifying behavioral modules and the order in which they are expressed, researchers can gain insight into the impact of drugs, genes, context, sensory stimuli and neural activity on behavior. Here we present a protocol for performing Motion Sequencing (MoSeq), an ethologically-inspired method that uses 3D machine vision and unsupervised machine learning to decompose spontaneous mouse behavior in the laboratory into a series of elemental modules called "syllables". This protocol is based upon a notebook-based pipeline for MoSeq that includes modules for depth video acquisition, data pre-processing and modeling, as well as a standardized set of visualization tools. Users are provided with instructions and code for building a MoSeq imaging rig and acquiring three-dimensional video of spontaneous mouse behavior for submission to the modeling framework; the outputs of this protocol include syllable labels for each frame of video data as well as summary plots describing how often each syllable was used and how syllables transitioned from one to the other over time. This protocol and the accompanying pipeline significantly lower the bar for adopting this unsupervised, data-driven approach to characterizing mouse behavior, enabling users without significant computational ethology experience to gain insight into how the structure of behavior is altered after experimental manipulations.

研究动机与目标

• 开发一种标准化、易用的方法，用于量化自发小鼠行为的结构组织。
• 使无计算专业知识的研究人员也能利用无监督机器学习分析复杂的行为序列。
• 提供从3D视频采集、预处理、建模到行为音节可视化的完整分析流程。
• 表征行为模块（音节）在实验操作下的排序方式及其随时间的转换规律。
• 降低临床前神经科学研究中数据驱动行为表型分析的入门门槛。

提出的方法

• 该方法采用3D视觉技术，在受控环境中捕捉自发小鼠行为。
• 应用无监督机器学习将连续视频分解为离散、重复出现的运动模式，称为“音节”。
• 该流程包括深度视频采集、数据预处理和建模模块，均基于笔记本式框架实现。
• 根据学习到的运动模式，为每一帧视频分配音节标签。
• 计算并可视化音节之间的转换概率，形成动态序列网络。
• 提供一套标准化的可视化工具，使用户能够探索音节使用频率和时间序列结构。

实验结果

研究问题

• RQ1 如何系统性地将自发小鼠行为分解为重复出现的模块化运动单元？
• RQ2 行为序列的时间结构是什么？在实验条件下这些序列如何变化？
• RQ3 无监督学习能否可靠地从3D视频数据中识别出具有生物学意义的行为音节？
• RQ4 MoSeq 流程如何使非专家能够分析复杂的行为动态？
• RQ5 行为转换在多大程度上可被量化与可视化，以揭示其潜在的行为组织结构？

主要发现

• MoSeq 框架成功从自由活动小鼠的3D视频中识别出一组离散且重复出现的行为音节。
• 行为序列具有结构性，音节以非随机、时间依赖的模式相互转换。
• 该方法在不同实验条件下产生一致的音节标签，支持可靠比较。
• 用户无需事先进行行为标注，即可生成显示音节使用频率和转换动态的汇总图表。
• 基于笔记本的流程使用户能够以最少的计算专业知识，实现从视频采集到行为建模的可重复、端到端分析。
• 该方法揭示行为结构会因基因、药物及神经操作而动态调节，表现为音节序列的改变。