[论文解读] Analysis of Video Feature Learning in Two-Stream CNNs on the Example of Zebrafish Swim Bout Classification

Bennet Breier, Arno Onken|arXiv (Cornell University)|Dec 20, 2019

Explainable Artificial Intelligence (XAI)参考文献 49被引用 4

一句话总结

本研究采用双流3D卷积神经网络结合深度泰勒分解，实现斑马鱼游泳爆发行为的可解释性特征学习，在斑马鱼游泳爆发分类中达到96.32%的准确率——比先前基于SVM的最先进方法高出6.12个百分点——通过识别尾干稳定性作为关键判别特征，同时发现并纠正了由琼脂糖人工制品引起的“聪明汉斯”虚假相关性。

ABSTRACT

Semmelhack et al. (2014) have achieved high classification accuracy in distinguishing swim bouts of zebrafish using a Support Vector Machine (SVM). Convolutional Neural Networks (CNNs) have reached superior performance in various image recognition tasks over SVMs, but these powerful networks remain a black box. Reaching better transparency helps to build trust in their classifications and makes learned features interpretable to experts. Using a recently developed technique called Deep Taylor Decomposition, we generated heatmaps to highlight input regions of high relevance for predictions. We find that our CNN makes predictions by analyzing the steadiness of the tail's trunk, which markedly differs from the manually extracted features used by Semmelhack et al. (2014). We further uncovered that the network paid attention to experimental artifacts. Removing these artifacts ensured the validity of predictions. After correction, our best CNN beats the SVM by 6.12%, achieving a classification accuracy of 96.32%. Our work thus demonstrates the utility of AI explainability for CNNs.

研究动机与目标

• 在斑马鱼游泳爆发检测中，将分类准确率提升至超越先前基于SVM的最先进水平。
• 探究深度学习模型是否在基于视频的行为分析中学习到可解释且具有生物学意义的特征。
• 识别并纠正削弱模型鲁棒性与可解释性的实验人工制品（如）引起的虚假相关性。
• 展示AI可解释性技术在神经科学和行为生物学应用中的实用性。
• 验证CNN在斑马鱼运动分析中是否能学习到比人工设计特征更具判别性的特征。

提出的方法

• 使用光流输入训练双流3D CNN，以捕捉斑马鱼视频序列中的运动动态。
• 通过iNNvestigate工具箱应用深度泰勒分解，生成显著性热图，突出显示对预测最相关的输入区域。
• 使用ImageNet预训练权重进行迁移学习，以初始化空间流和时间流。
• 对光流序列进行数据增强和归一化处理，以提高训练稳定性。
• 识别并移除实验设置中与琼脂糖人工制品相关的虚假相关性。
• 在移除人工制品后重新训练模型，以在修正数据上评估性能。

实验结果

研究问题

• RQ1 双流CNN在斑马鱼游泳爆发分类中学习了哪些特征，与人工设计的特征相比如何？
• RQ2 实验人工制品（如琼脂糖）在基于视频的行为分类中在多大程度上造成虚假相关性？
• RQ3 像深度泰勒分解这样的AI可解释性技术能否揭示学习特征中的生物学有意义模式？
• RQ4 移除虚假相关性是否能提升模型在斑马鱼行为分类中的泛化能力和性能？
• RQ5 深度学习模型是否能在该领域超越基于手工特征的SVM，如果是，原因是什么？

主要发现

• CNN在测试集上达到96.32%的准确率，比Semmelhack等人（2014年）基于SVM的方法高出6.12个百分点。
• 该模型主要依赖尾干的稳定性来分类游泳爆发，其显著性高度集中于躯干边缘区域。
• 热图显示，网络通过尖锐、局部化的显著性特征检测猎物爆发，而通过弥散、振荡的模式检测自发爆发。
• 发现“聪明汉斯”相关性：琼脂糖人工制品位于画面左上角，在自发爆发期间移动，但在猎物爆发期间不移动，导致模型产生误导。
• 在移除琼脂糖人工制品相关性并重新训练后，模型性能得到提升且保持稳健，证实了修正后特征的有效性。
• CNN学习到的特征与Semmelhack等人（2014年）所用特征有本质不同，其更少依赖尾尖动态，而更依赖躯干运动学，这与已知的行为神经生物学一致。