[論文レビュー] Predicting Semen Motility using three-dimensional Convolutional Neural Networks

Priyansi Priyansi, Biswaroop Bhattacharjee+1 more|arXiv (Cornell University)|Jan 8, 2021

Sperm and Testicular Function参考文献 11被引用数 7

ひとこと要約

本論文では、顕微鏡映像から精子の運動能を予測するための3次元畳み込みニューラルネットワーク（3D ResNet）を提案する。1つのテストセット（9サンプル）で87.5%の精度を達成し、1動画あたり50フレームのみを用いて実現した。動画クリップからの空間的・時間的特徴を活用し、低データ環境に最適化することで、平均推論時間400msで高速かつ正確で再現性のある精巣液分析が可能となり、手動または従来のCASAs手法のスケーラブルな代替手段を提供する。

ABSTRACT

Manual and computer aided methods to perform semen analysis are time-consuming, requires extensive training and prone to human error. The use of classical machine learning and deep learning based methods using videos to perform semen analysis have yielded good results. The state-of-the-art method uses regular convolutional neural networks to perform quality assessments on a video of the provided sample. In this paper we propose an improved deep learning based approach using three-dimensional convolutional neural networks to predict sperm motility from microscopic videos of the semen sample. We make use of the VISEM dataset that consists of video and tabular data of semen samples collected from 85 participants. We were able to achieve good results from significantly less data points. Our models indicate that deep learning based automatic semen analysis may become a valuable and effective tool in fertility and IVF labs.

研究の動機と目的

• 手動または高価なCASAsシステムへの依存を減らす、深層学習ベースの自動精巣液分析手法の開発を目的とする。
• 従来の手法の限界、すなわち時間的コストの高さ、データへの感受性、手動評価による人為的誤差を是正することを目的とする。
• 特に低リソースの不妊治療クリニックを想定し、動画データを用いて精子運動能の予測精度と速度を向上させることを目的とする。
• 表形式の臨床データを統合することで、精子運動能分類モデルの性能が向上するかどうかを評価することを目的とする。

提案手法

• 本研究では、精巣液サンプルの50フレームの動画クリップから空間的・時間的特徴を抽出するために、3次元畳み込みニューラルネットワーク（3D ResNet18および3D ResNet34）を採用する。
• データサイズの削減と効率の向上を図るため、各動画をグレースケールに変換し、運動および構造的パターンを保持する。
• データの不均衡（進行性運動：52例、非進行性運動：9例、動かない：24例）を緩和するため、クラスバランスを考慮した加重交差エントロピー損失関数を用いてモデルを訓練する。
• 勾配爆発を防ぐために、重み減衰と勾配クリッピング（0.1）を併用した1サイクル学習率スケジューラーを採用し、学習の安定化を図る。
• 一部のモデルでは、動画特徴と組み合わせて表形式のデータ（例：BMI、血清ホルモン値）を連結し、マルチモーダル入力を検討したが、性能が低下することが判明した。
• すべてのモデルはPyTorchで実装され、1サンプルあたりの推論時間は約400msで測定され、リアルタイム適用の可能性を示している。

実験結果

リサーチクエスチョン

• RQ1 3次元畳み込みニューラルネットワークは、限られた動画データから精子運動能を効果的に分類できるか？ また、従来手法や2次元CNNベースの手法を上回る性能を示せるか？
• RQ2 表形式の臨床データの統合は、動画ベースの精子運動能分類モデルの性能にどのように影響するか？
• RQ3 この低データ環境下において、モデルの深さ（ResNet18対ResNet34）は、精度および一般化性能にどの程度影響を及えるか？
• RQ4 提案手法は、不妊治療やIVFラボにおける実世界の臨床応用に十分な精度と速度を達成できるか？

主な発見

• 3D ResNet18モデルは、検証セットおよびテストセットの両方で100%の精度を達成し、小さなデータセットでも強い一般化性能を示した。
• 3D ResNet18 + 表形式データモデルは、テストセットで88.89%の精度を達成し、マルチモーダル入力がデータ不均衡の影響を受けても性能向上に寄与することを示した。
• 3D ResNet34 + 表形式データモデルは、検証セットで87.5%、テストセットで77.78%の精度を達成し、より深いアーキテクチャが冗長な特徴を学習し、過学習や性能低下を引き起こす可能性があることを示した。
• 最高性能を示したモデルは、87.5%のテスト精度と平均400ミリ秒の推論時間で、リアルタイム導入の可能性を裏付けた。
• 本研究では、表形式データが冗長性と潜在的なデータ漏洩を引き起こし、モデル性能を低下させることを発見した。これは、運動能予測には動画のみの入力がより効果的であることを示唆している。
• 本研究は、VISEMデータセットにおける分類ベースの精子運動能予測の新たなベースラインを確立し、今後の自動精巣液分析分野の研究を促進する。