[論文レビュー] Tool and Phase recognition using contextual CNN features

Manish Sahu, Anirban Mukhopadhyay+2 more|arXiv (Cornell University)|Oct 27, 2016

Surgical Simulation and Training参考文献 1被引用数 30

ひとこと要約

本論文では、ImageNetからの文脈的CNN特徴を用いた転移学習ベースの手法を提案し、手術用ツールおよび手術段階の認識を向上させることを目的としている。微調整されたAlexNet特徴とガウス分布を用いた時系列モデリング、およびハードネガティブマーティングを組み合わせたマルチクラスランダムフォレスト分類により、M2CAI16チャレンジデータセットで段階認識の平均F1スコア53.13、ツール検出の平均AP 54.5%を達成した。

ABSTRACT

A transfer learning method for generating features suitable for surgical tools and phase recognition from the ImageNet classification features [1] is proposed here. In addition, methods are developed for generating contextual features and combining them with time series analysis for final classification using multi-class random forest. The proposed pipeline is tested over the training and testing datasets of M2CAI16 challenges: tool and phase detection. Encouraging results are obtained by leave-one-out cross validation evaluation on the training dataset.

研究の動機と目的

• 文脈に配慮した手術システム向けに、完全自動の手術段階認識を実現すること。
• EndoNetのような既存の転移学習手法を改善し、文脈的および時系列的情報を統合すること。
• ガウス分布を用いた手術段階の時系列順序モデリングにより、段階認識の正確性を向上させること。
• ハードネガティブマーティングを用いた2段階のランダムフォレスト分類により、時系列的に離れた段階間の誤分類を低減すること。
• 限られたトレーニングデータ上でCNN特徴と時系列解析を用いた、ツールおよび段階認識の耐障害性の高いパイプラインを開発すること。

提案手法

• ImageNetで事前学習された重みを用いて、AlexNetを模倣したCNNアーキテクチャを微調整し、手術用ツール検出に使用するが、追加で「ツールなし」クラスを含める。
• CNNの'fc7'層から特徴を抽出し、10個の直前の時刻の特徴を連結することで文脈的特徴を生成する。
• 3つのガウス分布を用いて、段階の時系列的近接性に基づいて段階をグループ化（初期、中間、最終段階）することで、時系列的段階遷移をモデリングする。
• 初期段階予測のため、CNN特徴にマルチクラスランダムフォレスト分類を適用し、その後、段階固有の分類器を用いたハードネガティブマーティングステップを実施する。
• 時系列予測と初期ランダムフォレスト出力を組み合わせ、段階固有のランダムフォレストを用いて最終的な段階分類を精緻化する。
• M2CAI16トレーニングデータセットの評価には、1動画を除いた交差検証（leave-one-video-out cross-validation）を用いる。

実験結果

リサーチクエスチョン

• RQ1 文脈的CNN特徴は、標準的な転移学習を上回る手術用ツールおよび段階認識を実現できるか？
• RQ2 ガウス分布を用いた手術段階の時系列順序モデリングは、分類精度にどのように影響するか？
• RQ3 段階固有のランダムフォレストを用いたハードネガティブマーティングにより、類似または隣接する段階間の誤分類は低減するか？
• RQ4 文脈的特徴と時系列モデリングは、限られた手術動画データセット上でどれほど性能を向上させるか？
• RQ5 EndoNetのようなベースラインの転移学習手法と比較して、本手法はツールおよび段階認識の正確性においてどのように優れているか？

主な発見

• 提案手法は、M2CAI16ツール検出チャレンジのトレーニングデータセットで平均平均精度（AP）54.5%を達成した。
• Scissors検出のAPは26.2%で、EndoNetなどの先行研究と一致する結果であった。
• Preparation段階のF1スコアが39.59%で最低であり、初期段階の手術段階の認識が困難であることを示している。
• 全段階の平均F1スコアは53.13%であり、挑戦的なデータセット上で中程度の性能を示している。
• Trocar Placement段階のF1スコアが78.07%で最高であり、初期手術手順の識別性が高かったことを示している。
• ハードネガティブマーティングを用いた2段階分類により、トレーニング中に隣接する段階に注目することで、段階予測の局所化が向上した。