[論文レビュー] M2CAI Workflow Challenge: Convolutional Neural Networks with Time Smoothing and Hidden Markov Model for Video Frames Classification

Rémi Cadène, Thomas Robert+2 more|arXiv (Cornell University)|Oct 18, 2016

Generative Adversarial Networks and Image Synthesis参考文献 7被引用数 20

ひとこと要約

本論文は、最小侵襲胆嚥路切除術のオンライン動画フレーム分類のための2段階的手法を提案する。フレームレベル分類には微調整されたResNet-200を、時間的滑らかさには平均プーリングと隠れマルコフモデル（HMM）を用いる。この手法は、M2CAIワークフロー・チャレンジのテストセットで71.9%のJaccardインデックスを達成し、上位3位以内の成績を収めた。

ABSTRACT

Our approach is among the three best to tackle the M2CAI Workflow challenge. The latter consists in recognizing the operation phase for each frames of endoscopic videos. In this technical report, we compare several classification models and temporal smoothing methods. Our submitted solution is a fine tuned Residual Network-200 on 80% of the training set with temporal smoothing using simple temporal averaging of the predictions and a Hidden Markov Model modeling the sequence.

研究の動機と目的

• 胆嚥路切除術の8つの事前に定義された段階に、リアルタイムでオンラインで動画フレームを分類することに取り組む。
• 手術ワークフローの順序的性質を考慮し、時間的文脈を組み込むことで分類の頑健性を向上させること。
• 手術動画理解のための複数のディーブラーニングモデルと時間的滑らかさ技術を評価・比較すること。
• 多様な内視鏡動画シーケンス、異なる手術スタイルや画像条件にわたって一般化しやすい手法を開発すること。

提案手法

• 22本の動画（トレーニングデータの80％）で、オンラインデータオーグメンテーション（ランダムリサイズ、クロッピング、チャネル単位の正規化を含む）を適用した微調整済みResNet-200モデルをトレーニングする。
• 元の25 fpsの動画から25フレームおきにサンプリングすることで、1秒ごとにフレームレベルの予測を抽出する。
• 15フレーム（15秒）の平均を用いて時間的滑らかさを適用し、予測の安定化とノイズ低減を図る。
• 滑らかにした予測に基づいて、状態遷移をモデル化し、シーケンスの整合性を向上させるために隠れマルコフモデル（HMM）をトレーニングする。
• オンライン推論では、過去の予測シーケンスに対してViterbiアルゴリズムを段階的に適用し、リアルタイム動作を維持する。
• 最終的な予測は、各ラベルを25回繰り返すことで25 fpsにアップサンプリングし、元の動画長に合わせて整列させる。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みResNet-200の微調整は、特徴抽出や訓練から再始動する手法と比較して、手術動画フレーム分類においてどのように異なるか？
• RQ2 平均化による時間的滑らかさとHMMの影響は、オンライン設定における分類性能にどのように現れるか？
• RQ3 深層学習の予測をもとにトレーニングされたHMMは、手術ワークフロー段階の時間的ダイナミクスを効果的にモデル化できるか？
• RQ4 異なるデータオーグメンテーション戦略は、手術動画データにおけるモデルの一般化にどのように影響するか？
• RQ5 WELDONのような特化した層を用いることで、標準的な微調整と比較して性能が向上するか？

主な発見

• 微調整済みResNet-200モデルは、テストされたすべての分類モデルの中で最高の検証精度（79.24％）を達成した。
• HMMに基づく時間的滑らかさは、オンラインモードでの性能を顕著に向上させ、検証セットで81.60％のJaccardスコアを達成した。
• オフラインでのHMM推論では87.59％のJaccardスコアを達成し、時間的整合性の向上に向けたシーケンスモデリングの可能性を示した。
• 微調整済みResNet-200とHMMベースの滑らかさの組み合わせにより、テストセットで71.9％のJaccardインデックスを達成し、上位3位以内の成績を収めた。
• 15フレームの平均化により精度は85.97％まで向上したが、特に「GallbladderRetraction」のような困難なクラスではHMMアプローチに劣った。
• HMMモデルは「TrocarPlacement」のようなレアまたは曖昧な段階に対しても優れた性能を示し、オンラインモードで99.19％の精度を達成した。これは、時間的依存性の適切な処理を示している。