[論文レビュー] LRTD: Long-Range Temporal Dependency based Active Learning for Surgical Workflow Recognition

Xueying Shi, Yueming Jin+2 more|arXiv (Cornell University)|Apr 21, 2020

Surgical Simulation and Training参考文献 28被引用数 6

ひとこと要約

本論文は、非局所再帰的畳み込みネットワーク（NL-RCNet）を用いて長時間的な時間的依存関係（LRTD）をモデル化することで、情報量の多い動画クリップを選択する、外科手術プロセス認識のための新しいアクティブラーニング手法LRTDを提案する。クリップ内の内部的依存スコアが低い（情報含有量が高いことを示す）順にクリップをランク付けすることで、全データの50％のみを用いても、完全教師あり学習や最先端のアクティブラーニングベースラインを上回る優れた性能を達成した。Cholec80データセット上で検証された。

ABSTRACT

Automatic surgical workflow recognition in video is an essentially fundamental yet challenging problem for developing computer-assisted and robotic-assisted surgery. Existing approaches with deep learning have achieved remarkable performance on analysis of surgical videos, however, heavily relying on large-scale labelled datasets. Unfortunately, the annotation is not often available in abundance, because it requires the domain knowledge of surgeons. In this paper, we propose a novel active learning method for cost-effective surgical video analysis. Specifically, we propose a non-local recurrent convolutional network (NL-RCNet), which introduces non-local block to capture the long-range temporal dependency (LRTD) among continuous frames. We then formulate an intra-clip dependency score to represent the overall dependency within this clip. By ranking scores among clips in unlabelled data pool, we select the clips with weak dependencies to annotate, which indicates the most informative ones to better benefit network training. We validate our approach on a large surgical video dataset (Cholec80) by performing surgical workflow recognition task. By using our LRTD based selection strategy, we can outperform other state-of-the-art active learning methods. Using only up to 50% of samples, our approach can exceed the performance of full-data training.

研究の動機と目的

• 外科手術動画データセットの高額な注釈コストを低減すること。これらは専門知識を要し、注釈に時間がかかる。
• 局所的なフレームレベルの不確実性を超えて、長時間的な時間的依存関係を活用することで、外科動画解析におけるアクティブラーニングを改善すること。
• 注釈作業量を削減しながら、完全教師あり学習の性能を維持または上回ること。
• クリップ内での依存関係が弱い（情報量が多い）ものを優先するデータ選択戦略を構築すること。
• 大規模な公開外科データセット（Cholec80）上で手法を検証し、コスト効率の高い動画解析における臨床的潜在的可能性を示すこと。

提案手法

• 動画クリップ内のフレーム間で長時間的な時間的依存関係をモデル化するため、非局所ブロックを統合した非局所再帰的畳み込みネットワーク（NL-RCNet）を提案する。
• 各クリップ内の全体的な時間的整合性を測定するためのクリップ内依存スコアを導入し、これにはフレーム間のアテンション重みを用いる。
• クリップ内依存スコアが低い（より情報量が多いとされる）未ラベル付きクリップを注釈対象として選択する。
• 未ラベルデータプール全体に対してランク付け機構を適用し、弱い依存関係を持つクリップ（多様または曖昧な時間的パターンを含む可能性が高い）を優先的に選択する。
• 選択されたクリップを用いて深層学習モデルを段階的に学習させ、各アクティブラーニングイテレーションでモデルを更新する。
• 長時間記憶（LSTM）ユニットを用いた再帰的アーキテクチャを採用し、外科手技の時間的ダイナミクスをモデル化。非局所演算により長時間依存関係のモデル化を強化する。

実験結果

リサーチクエスチョン

• RQ1 長時間的な時間的依存関係をモデル化することで、外科手術認識のアクティブラーニングにおける選択クリップの情報量を向上させられるか？
• RQ2 クリップ内依存スコアが低いクリップを選択することで、局所的フレーム関係やフレームレベルの不確実性に基づく手法と比較して、モデル性能が向上するか？
• RQ3 グローバルな時間的整合性に基づくデータ選択戦略は、隣接フレーム情報のみに依存する最先端のアクティブラーニング手法を上回るか？
• RQ4 LRTDは、完全教師あり学習の性能を維持または上回りながら、どの程度の割合まで注釈コストを削減できるか？
• RQ5 LRTDに基づくクリップ選択は、複雑な遷移を示す手術フェーズにおいて、性能にどのように影響を与えるか？

主な発見

• LRTD手法は、Cholec80データセットで、全データの50％しかラベル付けされていない状況でも、完全教師あり学習を上回る優れた性能を達成した。
• LRTDは、すべてのラベル比率において、精度、ジャッカードスコア、F1スコア、再現率が一貫して向上し、安定した性能を示し、変動が最小限であった。
• すべてのデータ比において、LRTDは、深層信念ネットワーク（DBN）に基づく最先端のアクティブラーニング手法を、精度、ジャッカードスコア、F1スコア、再現率の観点で上回った。
• Phase 1（43.0％）およびPhase 4（27.5％）のクリップが最も頻繁に選択された。これは、より長時間またはより複雑なフェーズがモデル学習に寄与していることを示している。
• 可視化結果から、選択されたクリップは低い依存スコア（濃いマトリクス）を示しており、時間的整合性が弱く情報量が多いことを裏付けている。一方、選択されなかったクリップは強い均一な依存関係を示していた。
• 本手法は、精度と再現率にわずかな変動しか示さず、安定性と頑健性を示した。これに対してDBNは再現率に不安定さを示しており、より優れたデータ分布制御が可能であると示唆された。