[論文レビュー] Temporally Constrained Neural Networks (TCNN): A framework for semi-supervised video semantic segmentation

Deepak Alapatt, Pietro Mascagni+8 more|arXiv (Cornell University)|Dec 27, 2021

Colorectal Cancer Screening and Detection被引用数 5

ひとこと要約

本稿では、限られたアノテーション付き外科動画データセットにおける性能向上を図るため、自己符号化器に基づく空間時間的正則化を活用する半教師ありフレームワークである時系列制約付きニューラルネットワーク（TCNN）を提案する。低次元マスク表現から導出されるグローバル損失および一貫性損失を導入することで、推論コストを増加させることなく、特にレアクラスにおいてもセグメンテーション精度を向上させる。EndoscapesにおいてCystic Plateクラスで最大6.6%のF1スコア向上を達成した。

ABSTRACT

A major obstacle to building models for effective semantic segmentation, and particularly video semantic segmentation, is a lack of large and well annotated datasets. This bottleneck is particularly prohibitive in highly specialized and regulated fields such as medicine and surgery, where video semantic segmentation could have important applications but data and expert annotations are scarce. In these settings, temporal clues and anatomical constraints could be leveraged during training to improve performance. Here, we present Temporally Constrained Neural Networks (TCNN), a semi-supervised framework used for video semantic segmentation of surgical videos. In this work, we show that autoencoder networks can be used to efficiently provide both spatial and temporal supervisory signals to train deep learning models. We test our method on a newly introduced video dataset of laparoscopic cholecystectomy procedures, Endoscapes, and an adaptation of a public dataset of cataract surgeries, CaDIS. We demonstrate that lower-dimensional representations of predicted masks can be leveraged to provide a consistent improvement on both sparsely labeled datasets with no additional computational cost at inference time. Further, the TCNN framework is model-agnostic and can be used in conjunction with other model design choices with minimal additional complexity.

研究の動機と目的

• 最小侵襲手術における微細な解剖的構造を対象とした大規模でよくアノテートされた外科動画データセットの不足に取り組む。
• スパarselyアノテートされた状況下でも、外科動画に内在する時間的および解剖学的制約を活用してセグメンテーション性能を向上させる。
• 推論時における追加計算コストなしに、既存の動画セマンティックセグメンテーションモデルを強化できるモデルに依存しないフレームワークを開発する。
• 腹腔鏡胆嚢摘出術や白内障手術など、動的および外観が異なる多様な外科手術プロトコルに一般化可能であることを示す。

提案手法

• 予測されたセグメンテーションマスクの低次元でコンパクトな表現を学習するための自己符号化器を用い、これを監視信号として活用する。
• 再構築マスクと元の予測マスクとの乖離をペナルティ化するグローバル損失を導入し、構造的一致性を強制する。
• 連続フレーム間の予測変化を最小化することで、時間的安定性を促進する一貫性損失を適用する。
• バックボーンアーキテクチャに依存しないプラグインモジュールとして、自己符号化器および損失部を動画セマンティックセグメンテーションパイプラインに統合する。
• 交差エントロピー損失、グローバル損失、一貫性損失の組み合わせで、検証セット上でハイパーパramータを最適化しながら、ネットワークをエンドツーエンドで訓練する。
• 自己符号化器のボトルネック層からコンパクトな特徴を抽出し、モデル出力空間の正則化を図ることで、煙や遮蔽などのノイズやアーチファクトに対して耐性を高める。

実験結果

リサーチクエスチョン

• RQ1 予測されたセグメンテーションマスクの自己符号化器ベースの再構築は、半教師あり動画セマンティックセグメンテーションに有効な監視信号を提供できるか？
• RQ2 時間的一致性およびグローバル構造的正則化を組み込むことで、スパarselyアノテートされた外科動画データセットにおける性能はどの程度向上するか？
• RQ3 TCNNフレームワークは、視覚的ダイナミクスや解剖学的複雑性が異なる多様な外科手術プロトコルに一般化可能か？
• RQ4 推論時間や計算コストを増加させることなく、希少または検出が難しい解剖的構造のセグメンテーションを向上させることができるか？

主な発見

• TCNNは、EndoscapesおよびCaDISデータセットにおいて、それぞれImage Predictorに対して平均で2.6%および1.9%のF1スコア向上を達成した。
• グローバル損失および一貫性損失の追加により、EndoscapesおよびCaDISの3つの最も代表されないクラスにおいて、それぞれ4.3%および1.4%の平均F1スコア向上が得られた。
• EndoscapesのCystic Plateクラスでは、Video Predictorに対して6.6%のF1スコア向上を示し、グローバル構造的制約の有効性が顕著に現れた。
• グローバル損失は、EndoscapesおよびCaDISのVideo Predictorにおいて、それぞれ1.48%および0.32%のF1スコア向上をもたらしたが、ややImage Predictorでは性能が低下した。これは、時間的文脈がグローバル損失の有効性を強化していることを示している。
• 一貫性損失は両データセットで一貫した性能向上を示し、グローバル損失と相乗効果を発揮した。
• 定性的な結果では、TCNNが不自然な予測（孤立したブロブや解剖学的に不適切な構造）を低減し、時間的一致性と煙・遮蔽に対する耐性を向上させた。