[論文レビュー] Progressively Normalized Self-Attention Network for Video Polyp Segmentation

Ge-Peng Ji, Yu-Cheng Chou+5 more|arXiv (Cornell University)|May 18, 2021

Advanced Image Processing Techniques参考文献 25被引用数 13

ひとこと要約

本稿では、段階的な正規化自己注意メカニズムを用いたリアルタイムな動画ポリープセグメンテーションモデルであるPNS-Netを提案する。このメカニズムにより、長距離の空間的・時系列的依存関係を段階的に捉えることができる。軽量でバックボーンに依存しない自己注意ブロックを再帰性と畳み込みニューラルネットワーク（CNN）と統合することで、1つのGPUで約140 FPSの速度で最先端の性能を達成し、後処理なしに複数のベンチマークで既存手法を上回っている。

ABSTRACT

Existing video polyp segmentation (VPS) models typically employ convolutional neural networks (CNNs) to extract features. However, due to their limited receptive fields, CNNs can not fully exploit the global temporal and spatial information in successive video frames, resulting in false-positive segmentation results. In this paper, we propose the novel PNS-Net (Progressively Normalized Self-attention Network), which can efficiently learn representations from polyp videos with real-time speed (~140fps) on a single RTX 2080 GPU and no post-processing. Our PNS-Net is based solely on a basic normalized self-attention block, equipping with recurrence and CNNs entirely. Experiments on challenging VPS datasets demonstrate that the proposed PNS-Net achieves state-of-the-art performance. We also conduct extensive experiments to study the effectiveness of the channel split, soft-attention, and progressive learning strategy. We find that our PNS-Net works well under different settings, making it a promising solution to the VPS task.

研究の動機と目的

• コロノスコピー動画におけるグローバルな時系列的および空間的コンテキストを捉えることの難しいCNNベースのモデルの限界を解消すること。
• リアルタイムな動画セグメンテーションにおける標準的な自己注意メカニズムの受容 field の制限と高い計算コストを克服すること。
• 推論速度を損なわずにポリープセグメンテーションの精度を向上させる軽量で即挿し可能な自己注意メカニズムを開発すること。
• 段階的学習、チャネル分割、ソフト注意メカニズムが、多様なポリープ形状や動きに対してセグメンテーションのロバスト性を向上させる有効性を検証すること。

提案手法

• PNS-Netの核となるのは、チャネル単位の正規化を用いてクエリ、キー、バリュー特徴を計算する正規化自己注意（NS）ブロックであり、これにより訓練の安定化と特徴表現の向上が図られる。
• NSブロックに再帰的メカニズム（R=2）を組み合わせることで、動画フレーム間で段階的に特徴を精錬し、長距離の時系列的依存関係の有効なモデリングが可能になる。
• チャネル分割戦略により、特徴がクエリ／キー／バリューのブランチに分割され、異なる速度でのマルチスケールのポリープ運動に適応的に注目できるようになる。
• NSブロックをCNNベースのエンコーダ・デコーダアーキテクチャに統合することで、完全な教師あり学習と後処理なしのエンドツーエンド学習が可能になる。
• 動的注意マップと特徴集約の重要度を重みづけするためのソフト注意メカニズムを導入し、特徴の精錬を向上させている。
• 段階的学習戦略により、訓練中に段階的にNSブロックの数を増やし、最適化の安定化と小規模データセットにおける過学習の低減を実現している。

実験結果

リサーチクエスチョン

• RQ1 動画ポリープセグメンテーションにおいて、標準的な自己注意メカニズムと比較して、正規化自己注意メカニズムは精度と推論速度の点でどのように異なるか？
• RQ2 コロノスコピー動画における多様なポリープ運動パターンをモデリングする際、最適な正規化自己注意ブロックの数とチャネル分割数は何か？
• RQ3 ソフト注意メカニズムと段階的学習の統合は、小規模で挑戦的なVPSデータセットにおけるセグメンテーション性能を向上させるか？
• RQ4 自己注意ベースのモデルは、動画ポリープセグメンテーションにおいて、CNNベースの最先端手法と同等以上に精度とリアルタイム推論速度の両方を達成できるか？

主な発見

• CVC-300-TVでPNS-Netは最大のDiceスコア0.887を達成し、以前の最先端手法と比較して約10%のDiceスコア向上を示した。
• CVC-612-Tでは、Diceスコア0.860と$S_\alpha$ 0.903を達成し、すべての指標で優れた性能を示した。
• アブレーションスタディにより、R=2の正規化自己注意ブロックが最良の性能を示し、さらに増加させると過学習が生じることが確認された。
• ソフト注意メカニズムは、ハード注意の変種と比較して$S_\alpha$と$E_\phi$で0.01～0.02のスコア向上をもたらした。
• N=4のチャネル分割が、局所的運動とグローバルコンテキストの両方を捉える上で最良のバランスを提供し、より小さい・より大きな分割よりも優れた性能を示した。
• PNS-Netは1つのRTX 2080 GPUで約140 FPSで動作し、後処理なしにリアルタイム推論が可能であることが確認された。