[論文レビュー] Deep Reinforcement Learning for Surgical Gesture Segmentation and Classification

Daochang Liu, Tingting Jiang|arXiv (Cornell University)|Jun 21, 2018

Human Pose and Action Recognition参考文献 2被引用数 14

ひとこと要約

本稿では、速度と正確性のバランスを取ることで、セグメンテーションと分類を同時に学習する深層強化学習フレームワークを提案する。このタスクは、順序的な意思決定プロセスとしてモデル化され、エージェントが段階的かつ一貫性のある意思決定を学習する。行動と報酬設計を明示的に設計することで時間的整合性を強制し、JIGSAWSデータセットで最先端の編集スコアを達成した。従来手法を上回りながら、競争力あるフレーム単位の正確性を維持した。

ABSTRACT

Recognition of surgical gesture is crucial for surgical skill assessment and efficient surgery training. Prior works on this task are based on either variant graphical models such as HMMs and CRFs, or deep learning models such as Recurrent Neural Networks and Temporal Convolutional Networks. Most of the current approaches usually suffer from over-segmentation and therefore low segment-level edit scores. In contrast, we present an essentially different methodology by modeling the task as a sequential decision-making process. An intelligent agent is trained using reinforcement learning with hierarchical features from a deep model. Temporal consistency is integrated into our action design and reward mechanism to reduce over-segmentation errors. Experiments on JIGSAWS dataset demonstrate that the proposed method performs better than state-of-the-art methods in terms of the edit score and on par in frame-wise accuracy. Our code will be released later.

研究の動機と目的

• 既存の外科的ジェスチャー・セグメンテーション手法に共通する過剰セグメンテーション問題に対処し、最適でない編集スコアを改善すること。
• フレーム単位の正確性とセグメントレベルの編集スコアを統合した統一された学習目的として、ジェスチャーの同時セグメンテーションと分類を改善すること。
• 強化学習を用いて外科的ジェスチャー認識を順序的な意思決定プロセスとしてモデル化し、人間のセグメンテーション行動に類似した挙動を再現すること。
• RNN や TCN における暗黙のメモリ機構に依存せず、構造化された行動と報酬設計により、セグメンテーション意思決定における時間的整合性を明示的に強制すること。
• 時空間畳み込みネットワーク（TCN）から得られる階層的特徴が、強化学習エージェントの状態表現として有効であることを示すこと。

提案手法

• タスクは、事前学習済みのTCNから得られる状態表現に基づいて、エージェントが行動（セグメンテーションステップ）を選択するマルコフ決定過程（MDP）として定式化される。
• 行動空間には離散的なステップサイズ（例：4、21 フレーム）が含まれ、エージェントがジェスチャー内部を高速にスキャンし、境界部を注意深く検査できるようにする。
• 報酬関数は2つの項を組み合わせている：1つはフレーム単位の分類正確性を評価し、もう1つはセグメントレベルの編集スコアを最大化することで、正確性と正しいセグメンテーション境界の両方を促進する。
• 時間的整合性は、統計モデルからの将来のフレーム特徴と遷移確率を状態表現に組み込むことで強制される。
• 方策ネットワークは、累積割引報酬を最大化するように深層強化学習で訓練され、正確性と編集スコアの両方を最適化する。
• TCNエンコーダーからの階層的特徴が状態特徴として使用され、最終層の活性化（32次元）がエージェントの状態表現として用いられる。

実験結果

リサーチクエスチョン

• RQ1 強化学習を外科的ジェスチャーのセグメンテーションと分類に効果的に適用することで、教師あり深層学習ベースラインと比較して編集スコアを向上させることができるか？
• RQ2 行動と報酬設計による時間的整合性の明示的モデリングにより、ジェスチャー認識における過剰セグメンテーションエラーが低減するか？
• RQ3 RNN や畳み込みメモリに依存せず、強化学習で学習した方策が、人間のセグメンテーション直感に類似した挙動（ジェスチャー中心部では高速にスキャンし、境界部では遅くする）を学習できるか？
• RQ4 状態表現の異なる構成要素（例：将来の特徴、遷移確率）が最終的なパフォーマンスにどのように寄与しているか？
• RQ5 離散的かつ可変なステップサイズを持つ2値行動空間は、連続的または固定ステップアプローチに比べて、正確性と編集スコアのバランスを改善できるか？

主な発見

• 提案手法は、JIGSAWSの縫合タスクの動画データで87.96、キネマティックデータで87.86のセグメントレベル編集スコアを達成し、すべての先行最先端手法を上回った。
• 高いフレーム単位の正確性（動画で81.43%、キネマティックで82.07%）を維持しながらも、編集スコアが顕著に向上した。これは、両指標の間で良好なトレードオフを実現していることを示している。
• アブレーションスタディの結果、状態表現のすべての構成要素（特に階層的TCN特徴）が最適パフォーマンスを発揮するために不可欠であることが確認された。
• ステップサイズを変化させた実験では、大きなステップ（例：16、32）が一定の範囲で編集スコアを向上させたが、大きすぎると正確性が低下した。これは、離散的かつ適応可能なステップサイズの利点を裏付けている。
• ステップ履歴の可視化により、エージェントがジェスチャー中心部では大きなステップを、境界部では小さなステップをとることを学習していることが確認され、人間のセグメンテーション直感を模倣していることが示された。
• 動画データではF1スコアが92.0（10% IoU時）、キネマティックデータでは91.1を記録し、境界検出性能が優れていることがさらに確認された。