[論文レビュー] Evaluation of deep lift pose models for 3D rodent pose estimation based on geometrically triangulated data

Indrani Sarkar, Indranil Maji+4 more|arXiv (Cornell University)|Jun 24, 2021

Zebrafish Biomedical Research Applications参考文献 14被引用数 4

ひとこと要約

本稿では、マルチカメラ環境からの幾何的トリアングレーションによって得られた2次元キーポintsデータを用いて訓練されたデュアルリフトモデルを用いた、頑健な3次元ラットポーズ推定手法を提案する。時間的畳み込みネットワーク（TCN）が単一視点2次元ポーズを3次元にリフトする際、線形残差ネットワークを上回ることを示し、最適な2.7秒の時間窓でテスト損失0.45±0.003を達成し、複雑な行動実験において信頼性の高い3次元ポーズ推定を可能にする。

ABSTRACT

The assessment of laboratory animal behavior is of central interest in modern neuroscience research. Behavior is typically studied in terms of pose changes, which are ideally captured in three dimensions. This requires triangulation over a multi-camera system which view the animal from different angles. However, this is challenging in realistic laboratory setups due to occlusions and other technical constrains. Here we propose the usage of lift-pose models that allow for robust 3D pose estimation of freely moving rodents from a single view camera view. To obtain high-quality training data for the pose-lifting, we first perform geometric calibration in a camera setup involving bottom as well as side views of the behaving animal. We then evaluate the performance of two previously proposed model architectures under given inference perspectives and conclude that reliable 3D pose inference can be obtained using temporal convolutions. With this work we would like to contribute to a more robust and diverse behavior tracking of freely moving rodents for a wide range of experiments and setups in the neuroscience community.

研究の動機と目的

• 遮蔽や技術的制約によりマルチカメラトリアングレーションが困難な複雑なラボ環境において、自由に移動するラットの頑健な3次元ポーズ推定を可能にすること。
• 垂直な下面および側面カメラを用いた高精度な幾何的キャリブレーション手順を確立し、2次元キーポイント検出から高品質な3次元トレーニングデータを生成すること。
• 線形残差ネットワークと拡張時間的畳み込みネットワークの2つのディープリフトポーズモデルの性能を、単一視点入力からのラットポーズリフトタスクにおいて評価すること。
• ラット行動研究における正確な3次元ポーズ再構成を実現するための最適な推論視点および時間窓設定を同定すること。

提案手法

• 60分間の自由なマウス行動を50 Hzで記録するために、1台の下面カメラと4台の側面カメラを備えたマルチカメラセットアップを用いた。
• 2次元キーポイント検出には、データ拡張を用いて一般化性能を向上させるために1,000枚のラベル付き画像で訓練されたResNetベースのDeepLabCutモデルを採用した。
• チェッカーボードターゲットを用いて幾何的キャリブレーションを実施し、投影行列を確立。これにより、側面カメラからの投影からの深さの多項式フィッティングを介して3次元座標のトリアングレーションが可能となった。
• 得られたトリアングレーテッド3次元データを用いて、2つのディープリフトポーズモデル（線形残差ネットワークおよび拡張時間的畳み込み残差ネットワーク）をトレーニングした。
• モデル評価のため、10回のランダムなトレイン/テスト分割（80%/20%）を実施。150エポックにわたり早期停止および学習率の減少を適用した。
• 時間的畳み込みモデルは、さまざまな時間窓サイズ（15〜243タイムステップ）を用いて評価され、3次元ポーズ予測に最適なコンテキスト長を同定した。

実験結果

リサーチクエスチョン

• RQ1 遮蔽や限られたカメラ視界の影響を受けるが、幾何的にキャリブレートされたマルチカメラシステムは、自由に移動するラットの信頼性の高い3次元ポーズデータを生成できるか？
• RQ2 線形残差ネットワークと時間的畳み込みネットワークのうち、ラット行動研究において単一視点2次元検出からの3次元ポーズリフトタスクでより優れた性能を示すのはどちらか？
• RQ3 時間的畳み込みネットワークの最適な時間窓サイズは、3次元ポーズ推定誤差を最小化する観点でどの程度か？
• RQ4 視点（例：下面、側面、回転）の違いが、ディープリフトモデルの3次元ポーズ推定性能にどのように影響するか？
• RQ5 特に対称的または曖昧な視点において、モデルは異なるボディパーツの投影に一般化できるか？

主な発見

• 時間的畳み込みネットワークは、(x,y)→z予測タスクにおいて、線形残差ネットワークのテスト損失1.47±0.031を大きく上回り、テスト損失0.45±0.003を達成した。
• 時間的畳み込みネットワークの最適な時間窓サイズは135タイムステップ（2.7秒）であり、すべての設定で最低のテスト損失を示した。
• x軸周りに45°回転させた(x,z)→y予測方向が、両モデルにおいて最低のテスト損失を示し、斜め視点での性能向上を示した。
• (x,y)→z予測の下面視点が、両モデルで最も正確に推定された。これは、下面からの2次元データが深さ推定に強い事前知識を提供していることを示唆している。
• 時間的畳み込みネットワークは、すべての視点で優れた一般化性能と頑健性を示し、線形モデルと比較してテスト損失の分散が低かった。
• 最適な時間窓（2.7秒）は、ポーズ自己相関の減衰時間500msを上回っており、より長い範囲の時間的依存性が3次元ポーズ推定精度を向上させることを示している。