[论文解读] Extracting Temporal Features into a Spatial Domain Using Autoencoders for Sperm Video Analysis.

Vajira Thambawita, Pål Halvorsen+3 more|arXiv (Cornell University)|Jan 1, 2019

Sperm and Testicular Function参考文献 9被引用 1

一句话总结

该论文提出了一种两阶段深度学习方法，利用自编码器从精子视频记录中提取时间特征，并将其投影到空间域，形成‘特征图像’。这些特征图像随后与迁移学习和卷积神经网络结合，以高精度预测精子的运动性和形态，证明了视频中的时间动态可被有效捕捉并利用空间深度学习架构进行建模。

ABSTRACT

In this paper, we present a two-step deep learning method that is used to predict sperm motility and morphology-based on video recordings of human spermatozoa. First, we use an autoencoder to extract temporal features from a given semen video and plot these into image-space, which we call feature-images. Second, these feature-images are used to perform transfer learning to predict the motility and morphology values of human sperm. The presented method shows it's capability to extract temporal information into spatial domain feature-images which can be used with traditional convolutional neural networks. Furthermore, the accuracy of the predicted motility of a given semen sample shows that a deep learning-based model can capture the temporal information of microscopic recordings of human semen.

研究动机与目标

• 为解决从视频记录中建模人类精子运动复杂时间动态的挑战。
• 开发一种将时间视频特征转换为适合卷积神经网络的空间表示的方法。
• 通过视频数据上的深度学习提高精子运动性和形态预测的准确性。
• 证明视频中的时间信息可被有效编码为适合后续分析的空间特征图像。

提出的方法

• 在原始视频帧上训练自编码器，以学习并提取精子运动序列的时间特征。
• 将学习到的时间特征投影到二维空间表示中，形成保留动态运动模式的‘特征图像’。
• 将这些特征图像用作预训练卷积神经网络的输入，以实现迁移学习。
• 应用迁移学习微调网络，以从特征图像中预测精子运动性和形态评分。
• 该方法利用CNN的空间归纳偏置，对特征图像空间布局中编码的时间动态进行建模。
• 该方法实现了从视频数据端到端的学习，无需手动特征工程。

实验结果

研究问题

• RQ1 能否将精子视频序列的时间特征有效编码到空间域，以供卷积神经网络使用？
• RQ2 基于自编码器的特征提取在多大程度上能提升精子运动性和形态预测的准确性？
• RQ3 将时间动态转换为空间特征图像是否保留了用于后续分类的判别性信息？
• RQ4 与传统方法相比，该方法在从视频数据预测精子质量方面表现如何？

主要发现

• 该方法成功地将精子视频的时间特征转换为保留有意义运动动态的空间特征图像。
• 使用特征图像可实现与卷积神经网络的有效迁移学习，用于精子质量预测。
• 该模型在预测精子运动性方面表现出高精度，证明深度学习能够有效捕捉视频数据中的复杂时间模式。
• 结果证实，显微视频中的时间信息可被有意义地表示为适合标准CNN分析的空间格式。