[論文レビュー] Motion2Vec: Semi-Supervised Representation Learning from Surgical Videos

Ajay Kumar Tanwani, Pierre Sermanet+4 more|arXiv (Cornell University)|May 31, 2020

Human Pose and Action Recognition参考文献 53被引用数 4

ひとこと要約

Motion2Vec は、自己教師あり学習を用いた半教師あり表現学習手法であり、シアンプソンネットワークを用いたメトリクス学習により、手術動画のセグメントを深層埋め込み空間にクラスタリングする。反復的自己ラベル付けのための再帰ニューラルネットワークを用いて、繰り返し改善を行う。da Vinci ロボットにおいて、85.5% のアクションセグメンテーション精度と 0.94 cm の位置誤差を達成し、最先端手法を上回る性能を示した。

ABSTRACT

Learning meaningful visual representations in an embedding space can facilitate generalization in downstream tasks such as action segmentation and imitation. In this paper, we learn a motion-centric representation of surgical video demonstrations by grouping them into action segments/sub-goals/options in a semi-supervised manner. We present Motion2Vec, an algorithm that learns a deep embedding feature space from video observations by minimizing a metric learning loss in a Siamese network: images from the same action segment are pulled together while pushed away from randomly sampled images of other segments, while respecting the temporal ordering of the images. The embeddings are iteratively segmented with a recurrent neural network for a given parametrization of the embedding space after pre-training the Siamese network. We only use a small set of labeled video segments to semantically align the embedding space and assign pseudo-labels to the remaining unlabeled data by inference on the learned model parameters. We demonstrate the use of this representation to imitate surgical suturing motions from publicly available videos of the JIGSAWS dataset. Results give 85.5 % segmentation accuracy on average suggesting performance improvement over several state-of-the-art baselines, while kinematic pose imitation gives 0.94 centimeter error in position per observation on the test set. Videos, code and data are available at https://sites.google.com/view/motion2vec

研究の動機と目的

• 最小限の人為的アノテーションで、手術動画のデモから分離可能で、運動中心の表現を学習すること。
• 弱教師あり・自己教師ありの埋め込み学習を用いて、アクションセグメンテーションとインスティチューション学習の性能を向上させること。
• 強力で解釈可能な表現を用いて、新しい手術タスクへの一般化と実世界のロボットデプロイメントを可能にすること。

提案手法

• 同じアクションセグメントからの画像同士を引き寄せる一方で、異なるセグメントからの画像同士を遠ざけるように、コントラスト損失を用いてシアンプソンネットワークを訓練する。
• 埋め込み学習中に時空間的構造を保持するために、時間的順序制約を用いる。
• 事前学習後、再帰ニューラルネットワークが未ラベルシーケンスに対して自己ラベルを推論し、埋め込み空間を精緻化する。
• 自己ラベル付きデータで再びシアンプソンネットワークを訓練することで、埋め込み空間を反復的に精緻化する。
• 少量のラベル付き動画セグメントを用いて、埋め込み空間の意味的整合性を保ち、自己ラベル付けプロセスの初期化を行う。
• 埋め込み観測を用いてフィードフォワードネットワークでポーズインスティチューションを実行し、da Vinci ロボット上で正確な運動再現を可能にする。

実験結果

リサーチクエスチョン

• RQ1 最小限のラベルデータで、半教師ありのメトリクス学習アプローチが、類似した手術アクションセグメントを深層埋め込み空間に効果的にクラスタリングできるか。
• RQ2 RNN による反復的自己ラベル付けが、動画ベースのインスティチューション学習における表現の整合性と解釈可能性をどのように向上させるか。
• RQ3 Motion2Vec 埋め込みが、アクションセグメンテーションや実ロボットシステムにおけるキネマティックポーズインスティチューションといった、下流タスクにどの程度一般化できるか。
• RQ4 分類精度と耐障害性の観点から、最先端のメトリクス学習およびシーケンス学習ベースラインと比較して、本手法はどのように差をつけるか。
• RQ5 ノイズやドメインシフトの下でも、学習された表現が時空間的構造を保持できるか。

主な発見

• Motion2Vec は、JIGSAWS データセットで平均 85.5% のセグメンテーション精度を達成し、TCC (83.3%) や TCN (81.4%) といった先行手法を上回った。
• 入力ノイズに対して頑健であり、前処理済み画像に分散 0.15 のガウスノイズが加わっても、正確な時空間的整合性を維持した。
• Motion2Vec 埋め込みを用いたポーズインスティチューションでは、da Vinci ロボットで観測ごとに中央値 0.94 cm の位置誤差を示し、生動画で学習したモデルを上回った。
• Motion2Vec 埋め込みで学習した各医師向けポーズインスティチューションモデルは、中央値 36.49 のコサインクaternion損失と 0.94 cm のRMSEを達成し、キネマティック再現の高精度を示した。
• 25%以上のラベル付きデータを用いた半教師あり学習は、完全教師ありおよび無教師ベースラインと比較して、一貫してセグメンテーション精度を向上させた。
• RNN が予測する自己ラベルを用いた反復的精緻化ループは、埋め込み品質と下流タスクの性能を顕著に向上させた。