[論文レビュー] SCTNet: Single-Branch CNN with Transformer Semantic Information for Real-Time Segmentation

Zhengze Xu, Dongyue Wu+4 more|arXiv (Cornell University)|Dec 28, 2023

Advanced Neural Network Applications被引用数 6

ひとこと要約

SCTNetは、実時間セマンティックセグメンテーションのための単一ブランチCNNを提案する。この手法は、トレーニング時専用のトランスフォーマー枝を用いて、軽量なCNNに長距離の文脈的意味を注入し、新規のCFBlockとセマンティックアライメントモジュールを導入する。本手法は、追加のブランチによる推論オーバーヘッドがなく、Cityscapes、ADE20K、COCO-Stuff-10Kの各ベンチマークで最先端の精度-速度トレードオフを達成する。

ABSTRACT

Recent real-time semantic segmentation methods usually adopt an additional semantic branch to pursue rich long-range context. However, the additional branch incurs undesirable computational overhead and slows inference speed. To eliminate this dilemma, we propose SCTNet, a single branch CNN with transformer semantic information for real-time segmentation. SCTNet enjoys the rich semantic representations of an inference-free semantic branch while retaining the high efficiency of lightweight single branch CNN. SCTNet utilizes a transformer as the training-only semantic branch considering its superb ability to extract long-range context. With the help of the proposed transformer-like CNN block CFBlock and the semantic information alignment module, SCTNet could capture the rich semantic information from the transformer branch in training. During the inference, only the single branch CNN needs to be deployed. We conduct extensive experiments on Cityscapes, ADE20K, and COCO-Stuff-10K, and the results show that our method achieves the new state-of-the-art performance. The code and model is available at https://github.com/xzz777/SCTNet

研究の動機と目的

• 二重ブランチアーキテクチャの計算コストを回避することで、実時間セマンティックセグメンテーションにおける速度-精度トレードオフを解消すること。
• 追加の推論コストを犠牲にせずに、軽量な単一ブランチCNNが豊富な長距離コンテキストを学習できるようにすること。
• 知識蒸留の効果を高めるために、トレーニング中にCNNとトランスフォーマーの特徴間の意味的ギャップを埋めること。
• 実時間推論を維持しつつ、既存の二重ブランチ実時間モデルを上回る最先端の性能を達成すること。

提案手法

• 長距離の文脈的特徴を抽出するトレーニング時専用のトランスフォーマー枝を導入し、推論時には使用しない。
• CFBlock（Conv-Former Block）を提案する。これは、深度可逆畳み込みとポイントワイド畳み込みのみを用いて自己注意メカニズムを模倣するCNNベースのモジュールであり、長距離依存性を捉える。
• セマンティック情報アライメントモジュール（SIAM）を設計し、共通のデコーダーヘッドと特徴の最適化を用いて、トランスフォーマー枝とCNN枝の特徴をアライメントする。
• 知識蒸留を用いて単一ブランチCNNを訓練し、追加の推論コストなしに高レベルの意味的特徴を学習可能にする。
• 推論時には単一ブランチCNNのみをデプロイすることで、高い効率性と実時間性能を確保する。
• デコーダーで特徴共有とマルチスケール統合を採用し、空間的詳細を保持するとともにグローバルコンテキストを統合する。

実験結果

リサーチクエスチョン

• RQ1 二重ブランチアーキテクチャに依存せずに、単一ブランチCNNが実時間セマンティックセグメンテーションで最先端の精度を達成できるか？
• RQ2 トランスフォーマーに基づく意味的ブランチは、トレーニング中に軽量なCNNの長距離コンテキストモデリングをどの程度効果的に向上できるか？
• RQ3 CNNとトランスフォーマーのブランチ間の特徴をアライメントする際に、どのメカニズムが意味的ギャップを最小限に抑えるのに最も効果的か？
• RQ4 提案手法は、既存の二重ブランチ実時間モデルを上回る性能を維持しながらも、実時間推論速度を確保できるか？

主な発見

• SCTNetはCityscapes検証セットで新たな最先端性能を達成し、新たな速度-精度フロンティアを確立した。
• ADE20Kでは、SCTNet-BはSegFormer-B0、RTFormer-B、TopFormer-B、SeaFormer-Bと比較して、より細分化されたマスクとより正確な大面積予測を実現した。
• Cityscapesでは、SCTNet-Bはポール、信号機、標識などの細い・小さな物体について、SeaFormer-BやSTDC2と比較して優れた境界精度を達成した。
• SCTNetはCityscapesで32.8 FPSを達成し、30 FPSの実時間閾値を上回っており、優れた推論効率性を示した。
• 可視化結果から、SCTNetは特に細かい構造を有する複雑なシーンにおいて、より一貫性があり詳細なセグメンテーションマスクを生成することが確認された。
• アブレーションスタディにより、CFBlockとSIAMの両方が性能向上に不可欠であることが検証され、特にSIAMがブランチ間の意味的ギャップを顕著に低減した。