[論文レビュー] Data Splits and Metrics for Method Benchmarking on Surgical Action Triplet Datasets

Chinedu Innocent Nwoye, Nicolas Padoy|arXiv (Cornell University)|Apr 11, 2022

Surgical Simulation and Training参考文献 19被引用数 12

ひとこと要約

本論文は、CholecT45およびCholecT50外科行動トリプレットデータセットにおける標準化されたデータ分割と評価指標を導入し、外科的アクティビティ認識におけるディープラーニングモデルの一貫したベンチマーク評価を可能にした。モデルの公平な比較を可能にするためにk-fold交差検証分割を提案し、トリプレット評価を目的としたオープンソースのivtmetricsライブラリを開発し、PyTorchおよびTensorFlow向けの再現可能なモデルをリリースした。これにより、分野全体における比較可能性と進捗追跡が顕著に向上した。

ABSTRACT

In addition to generating data and annotations, devising sensible data splitting strategies and evaluation metrics is essential for the creation of a benchmark dataset. This practice ensures consensus on the usage of the data, homogeneous assessment, and uniform comparison of research methods on the dataset. This study focuses on CholecT50, which is a 50 video surgical dataset that formalizes surgical activities as triplets of . In this paper, we introduce the standard splits for the CholecT50 and CholecT45 datasets and show how they compare with existing use of the dataset. CholecT45 is the first public release of 45 videos of CholecT50 dataset. We also develop a metrics library, ivtmetrics, for model evaluation on surgical triplets. Furthermore, we conduct a benchmark study by reproducing baseline methods in the most predominantly used deep learning frameworks (PyTorch and TensorFlow) to evaluate them using the proposed data splits and metrics and release them publicly to support future research. The proposed data splits and evaluation metrics will enable global tracking of research progress on the dataset and facilitate optimal model selection for further deployment.

研究の動機と目的

• CholecT45およびCholecT50データセットに対する一貫性があり再現可能なデータ分割を確立し、外科的アクティビティトリプレット認識手法の公平な比較を可能にすること。
• トリプレット検出および認識のための評価指標を定義・標準化し、過去のベンチマーク手法における不整合を是正すること。
• PyTorchやTensorFlowなどのディープラーニングフレームワークで利用可能な、公開・モジュラーなメトリクスライブラリ（ivtmetrics）の開発およびリリースすること。
• 提案された分割で最先端のモデルを再実装・評価し、今後の研究のための信頼できるベースラインを提供すること。
• 評価プロトコルの標準化により、臨床応用に向けた長期的な進捗追跡と最適なモデル選定を支援すること。

提案手法

• 主に2つのデータ分割を提案：先行研究と整合する標準的な訓練/検証/テスト分割と、クラス不均衡の緩和と一般化評価の向上を目的としたk-fold交差検証分割。
• CholecT45およびCholecT50におけるきめ細やかなk-fold交差検証戦略を導入し、すべてのデータポイントを網羅的に評価し、性能推定のばらつきを低減すること。
• トリプレット認識および局在化の評価を目的としたivtmetrics Pythonライブラリを設計・実装し、フレームワーク間で標準化された検出および分類メトリクスをサポートすること。
• 再現可能性とフレームワーク間相互運用性を確保するため、PyTorchおよびTensorFlowで既存の最先端モデルを再実装し、外科的トリプレット認識用に適用すること。
• 複数回の実行において標準化されたメトリクスと分割を適用し、一貫性があり比較可能な性能報告を保証すること。
• GitHubおよび公開データセットを通じて、トレーニング済みモデル、コード、重み、およびivtmetricsライブラリをリリースし、透明性と再利用性を促進すること。

実験結果

リサーチクエスチョン

• RQ1 CholecT45およびCholecT50データセットを、外科的アクティビティトリプレット認識のベンチマークに適した、最も効果的で再現可能な分割方法は何か？
• RQ2 異なる研究グループ間でのモデル比較を公平かつ一貫可能にするために、評価指標をどのように標準化できるか？
• RQ3 標準化されたデータ分割と指標を用いて評価した場合、最先端モデルが達成できる性能はどの程度か？
• RQ4 k-fold交差検証は、単一のテストセット分割と比較して、このデータセットにおけるモデル評価の信頼性をどのように向上させるか？
• RQ5 提案されたメトリクスライブラリは、ディープラーニングフレームワーク間で一貫性があり再利用可能な評価をどの程度可能にするか？

主な発見

• 提案されたCholecT45およびCholecT50におけるk-fold交差検証分割により、ばらつきの低減とクラス不均衡の緩和が実現され、より強固で一般化性の高いモデル評価が可能になった。
• ivtmetricsライブラリにより、PyTorchおよびTensorFlowフレームワーク間で一貫性があり、モジュラーかつ再利用可能な外科的トリプレット認識モデルの評価が可能になった。
• 標準化された分割で再現されたモデルは、CholecT50で平均F1スコア29.4±2.8、CholecT45で29.4±2.5を示し、今後の比較のための信頼できるベースラインを提供した。
• ベンチマーク研究の結果、トリプレットクラスごとの性能に顕著な差が認められ、高スコア（例：'irrigator,irrigate,cystic-pedicle'で94.0±4.6）と低スコア（例：'bipolar,grasp,cystic-plate'で0.5±0.1）の両方が存在し、クラス固有の課題が浮き彫りになった。
• 標準化された分割と指標により、研究進捗の一貫した追跡が可能となり、同じプロトコルを用いた研究間で結果が比較可能になった。
• コード、モデル、メトリクスのリリースにより、再現可能性が確保され、外科的アクティビティ認識分野における今後の研究が加速した。