[論文レビュー] DESK: A Robotic Activity Dataset for Dexterous Surgical Skills Transfer to Medical Robots

Naveen Madapana, M. K. Abd Rahman+11 more|arXiv (Cornell University)|Mar 3, 2019

Surgical Simulation and Training参考文献 34被引用数 3

ひとこと要約

本論文は、シミュレーテッドTaurus IIロボット、実際のTaurus IIロボット、およびYuMi産業用ロボットからのピッグトランスファータスクを含む、マルチドメインのロボット外科学データセットDESCKを紹介する。シミュレーションデータから実ロボットシステムへの転移学習が、外科学的ジェスチャー分類の正確性を顕著に向上させることを示しており、シミュレーションデータのみで55%の正確性を達成し、実データの3%を追加することで34%の向上を達成した。これにより、多様なロボットプラットフォーム間でのスキル転送が可能になる。

ABSTRACT

Datasets are an essential component for training effective machine learning models. In particular, surgical robotic datasets have been key to many advances in semi-autonomous surgeries, skill assessment, and training. Simulated surgical environments can enhance the data collection process by making it faster, simpler and cheaper than real systems. In addition, combining data from multiple robotic domains can provide rich and diverse training data for transfer learning algorithms. In this paper, we present the DESK (Dexterous Surgical Skill) dataset. It comprises a set of surgical robotic skills collected during a surgical training task using three robotic platforms: the Taurus II robot, Taurus II simulated robot, and the YuMi robot. This dataset was used to test the idea of transferring knowledge across different domains (e.g. from Taurus to YuMi robot) for a surgical gesture classification task with seven gestures. We explored three different scenarios: 1) No transfer, 2) Transfer from simulated Taurus to real Taurus and 3) Transfer from Simulated Taurus to the YuMi robot. We conducted extensive experiments with three supervised learning models and provided baselines in each of these scenarios. Results show that using simulation data during training enhances the performance on the real robot where limited real data is available. In particular, we obtained an accuracy of 55% on the real Taurus data using a model that is trained only on the simulator data. Furthermore, we achieved an accuracy improvement of 34% when 3% of the real data is added into the training process.

研究の動機と目的

• 非-da Vinci外科学ロボット用に公開可能なデータセットの不足に起因する、ロボットプラットフォーム間の転移学習の制限を解消すること。
• 最小侵襲外科学における、シミュレーションから現実世界のロボットシステムへの知識転送を可能にすること。
• 異なるロボット形状とドメイン（シミュレーテッド、実Taurus II、実YuMi）をカバーする転移学習を支援するベンチマークデータセット（DESCK）の開発。
• 豊富なシミュレーションデータと限られた実データを用いて、外科学的ジェスチャー分類における転移学習の有効性を評価すること。
• 将来の研究におけるドメイン適応、リアルタイムの surgeme 検出、および外科学ロボティクスにおけるクロスロボットスキル転送の基盤を提供すること。

提案手法

• DESCKデータセットは、3つのプラットフォーム（シミュレーテッドTaurus IIロボット、実Taurus IIロボット、実YuMi産業用ロボット）を用いて収集された。
• ピッグトランスファータスク中に、同期されたRGB-D動画と運動学的データとして外科学的運動が記録された。
• 境界ボックスとジェスチャー境界のための、色ベースの画像処理と人間による検証を組み合わせた半自動パイプラインを用いて、surgemeインスタンスがアノテーションされた。
• 分類タスクのために、運動学的および視覚的データから、シーケンス単位およびフレーム単位の特徴量が抽出された。
• 3つの転移学習シナリオ（転移なし、シミュレーテッド→実Taurus、シミュレーテッド→YuMi）の下で、3つの教師あり学習モデル（SVM、ランダムフォレスト、MLP）が訓練および評価された。
• モデルはシミュレーションデータで訓練し、さまざまな量の実ロボットデータでファインチューニングすることで、性能向上を測定した。

実験結果

リサーチクエスチョン

• RQ1 限られた現実世界データを伴う実ロボットシステムにおいて、シミュレーション生成データがジェスチャー分類の正確性を効果的に向上させることができるか？
• RQ2 物理的に異なる実ロボット（例：TaurusからYuMi）へのシミュレーテッドロボットからの転移学習性能は、どのように変化するか？
• RQ3 シミュレーションのみの学習に、少量の実ロボットデータを追加した場合、分類正確性にどのような影響を与えるか？
• RQ4 シーケンス単位の特徴表現とフレーム単位の特徴表現は、外科学的ジェスチャー分類における転移学習性能にどのように影響するか？
• RQ5 シミュレーションデータで訓練されたモデルは、事前にセグメンテーションを行わずに、リアルタイムでsurgeme境界を検出できるか？

主な発見

• シミュレーテッドTaurus IIデータのみで訓練されたモデルは、実Taurus IIロボットデータにおける外科学的ジェスチャー分類で55%の正確性を達成し、シミュレーションから現実へのゼロショット転移が有効であることを示した。
• シミュレーション学習データに実Taurus IIデータの3%を追加したことで、分類正確性が34%向上した。これは、わずかな現実世界データがファインチューニングに極めて価値があることを示している。
• シミュレーテッドTaurusからYuMiロボットへの転移性能は、Taurusへの転移（α=0.12）よりも低く、YuMiとTaurus間のドメインシフトが大きいことが示された（YuMiへの転移ではα=0.3で80%の正確性を達成）。
• シーケンス単位の特徴量がフレーム単位の特徴量を上回った。これは、時間的文脈が正確なジェスチャー認識に不可欠であることを示唆している。
• フレーム単位の分類は、事前セグメンテーションが不要なため、リアルタイム応用に有望である。これにより、ジェスチャーの開始および終了点をオンラインで検出できる。
• データセットおよびコードは https://github.com/nmadapan/Forward_Project.git で公開されており、将来のクロスロボット転移学習およびリアルタイム外科学スキル認識分野の研究を支援する。