[論文レビュー] Extracting Temporal Features into a Spatial Domain Using Autoencoders for Sperm Video Analysis.

Vajira Thambawita, Pål Halvorsen+3 more|arXiv (Cornell University)|Jan 1, 2019

Sperm and Testicular Function参考文献 9被引用数 1

ひとこと要約

本論文は、スパム動画記録から時間的特徴を抽出し、それらを空間ドメインに投影して「特徴画像」とする自動符号化器を用いた2段階のディープラーニング手法を提案する。これらの特徴画像は、転移学習と畳み込みニューラルネットワークを用いて、高い正確性でスパムの運動性および形態を予測するために使用され、動画内の時間的ダイナミクスが空間的ディープラーニングアーキテクチャを用いて効果的に捉えられ、活用可能であることを示している。

ABSTRACT

In this paper, we present a two-step deep learning method that is used to predict sperm motility and morphology-based on video recordings of human spermatozoa. First, we use an autoencoder to extract temporal features from a given semen video and plot these into image-space, which we call feature-images. Second, these feature-images are used to perform transfer learning to predict the motility and morphology values of human sperm. The presented method shows it's capability to extract temporal information into spatial domain feature-images which can be used with traditional convolutional neural networks. Furthermore, the accuracy of the predicted motility of a given semen sample shows that a deep learning-based model can capture the temporal information of microscopic recordings of human semen.

研究の動機と目的

• 動画記録からのヒトスパム運動の複雑な時間的ダイナミクスをモデル化する課題に対処すること。
• 時間的動画特徴を畳み込みニューラルネットワークに適した空間的表現に変換する手法を開発すること。
• 動画データに対するディープラーニングを用いて、スパム運動性および形態の予測精度を向上させること。
• 動画内の時間的情報が、後続の分析に適した空間的特徴画像に効果的に符号化可能であることを実証すること。

提案手法

• 原始的な動画フレーム上でトレーニングされた自動符号化器により、スパム運動の時間的特徴を学習・抽出する。
• 学習された時間的特徴が2次元空間表現に投影され、動的運動パターンを保持する「特徴画像」が形成される。
• これらの特徴画像が、事前に訓練済みの畳み込みニューラルネットワークの入力として使用される。
• 転移学習が適用され、特徴画像からのスパム運動性および形態スコアの予測に合わせてネットワークを微調整する。
• CNNの空間的インダクティブバイアスを活用し、特徴画像の空間的配置に符号化された時間的ダイナミクスをモデル化する。
• 手動による特徴工学的設計を必要とせず、動画データからエンドツーエンドの学習が可能となる。

実験結果

リサーチクエスチョン

• RQ1 スパム動画シーケンスからの時間的特徴は、畳み込みニューラルネットワークに使用可能な空間ドメインに効果的に符号化可能か？
• RQ2 自動符号化器に基づく特徴抽出は、スパム運動性および形態予測の正確性をどの程度向上させるか？
• RQ3 時間的ダイナミクスを空間的特徴画像に変換することで、後続の分類に必要な判別情報が保持されるか？
• RQ4 本手法は、動画データからのスパム品質予測において、従来の手法と比較してどのように差を示すか？

主な発見

• 本手法は、スパム動画からの時間的特徴を、意味のある運動ダイナミクスを保持する空間的特徴画像に効果的に変換できた。
• 特徴画像の使用により、畳み込みニューラルネットワークを用いた効果的な転移学習が可能となり、スパム品質予測が実現した。
• モデルは、動画データ内の複雑な時間的パターンを効果的に捉えることができることを示し、スパム運動性予測において高い正確性を達成した。
• 結果から、顕微鏡的動画内の時間的情報が、標準的なCNNベースの分析に適した空間形式に意味的に適切に表現可能であることが確認された。