[論文レビュー] PEg TRAnsfer Workflow recognition challenge report: Does multi-modal data improve recognition?

Arnaud Huaulmé, Kanako Harada+17 more|arXiv (Cornell University)|Feb 11, 2022

Cardiac, Anesthesia and Surgical Outcomes被引用数 4

ひとこと要約

本論文は、制御されたピッグトランスファータスクにおける外科手順認識に、ビデオと運動学的データというマルチモーダルデータの影響を評価している。150件のシーケンスから成るベンチマークデータセット（3段階の粒度でアノテーション済み）を用い、ビデオと運動学的データを組み合わせることで、単一モodalアプローチに比べ認識精度が著しく向上（AD-正答率最大93%）することを示したが、計算コストも大幅に増加している。

ABSTRACT

This paper presents the design and results of the "PEg TRAnsfert Workflow recognition" (PETRAW) challenge whose objective was to develop surgical workflow recognition methods based on one or several modalities, among video, kinematic, and segmentation data, in order to study their added value. The PETRAW challenge provided a data set of 150 peg transfer sequences performed on a virtual simulator. This data set was composed of videos, kinematics, semantic segmentation, and workflow annotations which described the sequences at three different granularity levels: phase, step, and activity. Five tasks were proposed to the participants: three of them were related to the recognition of all granularities with one of the available modalities, while the others addressed the recognition with a combination of modalities. Average application-dependent balanced accuracy (AD-Accuracy) was used as evaluation metric to take unbalanced classes into account and because it is more clinically relevant than a frame-by-frame score. Seven teams participated in at least one task and four of them in all tasks. Best results are obtained with the use of the video and the kinematics data with an AD-Accuracy between 93% and 90% for the four teams who participated in all tasks. The improvement between video/kinematic-based methods and the uni-modality ones was significant for all of the teams. However, the difference in testing execution time between the video/kinematic-based and the kinematic-based methods has to be taken into consideration. Is it relevant to spend 20 to 200 times more computing time for less than 3% of improvement? The PETRAW data set is publicly available at www.synapse.org/PETRAW to encourage further research in surgical workflow recognition.

研究の動機と目的

• 複数のデータモダリティを組み合わせることで、単一モダリティアプローチに比べ外科手順認識の精度が向上するかどうかを調査すること。
• ビデオ、運動学的データ、意味セグメンテーションを含む多様なモダリティを用いた、外科手順認識のための標準化されたベンチマークデータセットを構築すること。
• 段階、手順、活動の3段階の粒度で認識性能を評価すること。
• マルチモーダル入力による認識精度の向上と計算コストの増加のトレードオフを評価すること。
• 今後の外科プロセスモデリング研究のためのオープンサイエンスを促進するために、PETRAWデータセットを公開すること。

提案手法

• 本研究は、仮想外科シミュレータから得た150件のピッグトランスファータスクシーケンスを用いて、PEg TRAnsfer Workflow（PETRAW）チャレンジを実施した。
• データセットには同期されたビデオ、運動学的軌跡、意味セグメンテーションマスク、および多段階のアノテーション（段階、手順、活動）が含まれている。
• 5つのタスクを定義した：3つの単一モダリティ（ビデオのみ、運動学的データのみ、意味セグメンテーションのみ）、2つのマルチモーダル（ビデオ＋運動学的データ、ビデオ＋セグメンテーション）。
• 参加者は、それぞれのモダリティで訓練されたディープラーニングモデル（主にCNN、RNN、Transformer）を用いて、手順段階を認識した。
• 評価には、クラス不均衡を考慮し、フレームレベルのF1スコアよりも臨床的関連性が高いアプリケーション依存型バランス正答率（AD-正答率）を用いた。
• 結果は全シーケンスにわたって集約され、各タスクごとに評価され、単一モダリティ対マルチモーダルの性能と計算効率の比較がなされた。

実験結果

リサーチクエスチョン

• RQ1 ビデオと運動学的データを組み合わせることで、単独で使用する場合に比べ、外科手順認識の正答率が顕著に向上するか？
• RQ2 意味セグメンテーションデータの導入が、異なる粒度レベルにおける認識性能にどのように影響するか？
• RQ3 マルチモーダル入力を利用した場合、認識精度と計算コストのトレードオフはどのようになるか？
• RQ4 マルチモーダルモデルは、異なる外科的タスクや手順の抽象化レベルに一般化可能か？
• RQ5 異なるディープラーニングアーキテクチャは、単一モダリティおよびマルチモーダル設定において、外科手順認識でどの程度の性能を示すか？

主な発見

• 最も高い性能を示したモデルは、ビデオと運動学的データを組み合わせており、参加した4チームすべてで、アプリケーション依存型バランス正答率（AD-正答率）が93％から90％の範囲で達成された。
• マルチモーダル手法は一貫して単一モダリティアプローチを上回り、特にビデオ＋運動学的データの組み合わせが、ビデオのみや運動学的データのみのベースラインに比べて顕著な改善を示した。
• ビデオと運動学的データの使用により、計算コストが運動学的データのみの手法に比べ2,000％から20,000％まで上昇したが、一部のケースでは僅か3％の正答率向上にとどまった。
• 意味セグメンテーション単体では、ビデオや運動学的データに比べて競争力のある結果が得られず、この文脈では独立した利用価値が限定的であることが示唆された。
• PETRAWデータセットはwww.synapse.org/PETRAWで公開されており、今後の外科手順認識研究におけるベンチマークと再現性の確保が可能である。
• 本研究は、マルチモーダル統合が、特に段階や活動といった細かい粒度での認識の頑健性と正確性を向上させることを確認したが、効率性が依然として重要な制約要因であることがわかった。