[論文レビュー] CEDNet: A Cascade Encoder-Decoder Network for Dense Prediction

Gang Zhang, Ziyi Li+3 more|arXiv (Cornell University)|Feb 13, 2023

Advanced Neural Network Applications被引用数 16

ひとこと要約

CEDNetは、各段階内でマルチスケール特徴を融合するカスケード型のエンコーダ-デコーダ段を導入し、高レベル信号に導かれる早期特徴融合を可能にし、検出・セグメンテーション・インスタンス分割で大きな改善を達成する。

ABSTRACT

Multi-scale features are essential for dense prediction tasks, such as object detection, instance segmentation, and semantic segmentation. The prevailing methods usually utilize a classification backbone to extract multi-scale features and then fuse these features using a lightweight module (e.g., the fusion module in FPN and BiFPN, two typical object detection methods). However, as these methods allocate most computational resources to the classification backbone, the multi-scale feature fusion in these methods is delayed, which may lead to inadequate feature fusion. While some methods perform feature fusion from early stages, they either fail to fully leverage high-level features to guide low-level feature learning or have complex structures, resulting in sub-optimal performance. We propose a streamlined cascade encoder-decoder network, dubbed CEDNet, tailored for dense \mbox{prediction} tasks. All stages in CEDNet share the same encoder-decoder structure and perform multi-scale feature fusion within the decoder. A hallmark of CEDNet is its ability to incorporate high-level features from early stages to guide low-level feature learning in subsequent stages, thereby enhancing the effectiveness of multi-scale feature fusion. We explored three well-known encoder-decoder structures: Hourglass, UNet, and FPN. When integrated into CEDNet, they performed much better than traditional methods that use a pre-designed classification backbone combined with a lightweight fusion module. Extensive experiments on object detection, instance segmentation, and semantic segmentation demonstrated the effectiveness of our method. The code is available at https://github.com/zhanggang001/CEDNet.

研究の動機と目的

• 従来のバックボーンを超える密集予測タスクにおけるマルチスケール特徴融合の改善を動機づける。
• すべての段階が統一されたエンコーダ-デコーダ構造を共有するカスケード型エンコーダ-デコーダアーキテクチャを提案する。
• 段階間で高レベル特徴の早期融合を有効にし、低レベル特徴学習を導く。
• 3つのエンコーダ-デコーダ実装を評価し、従来のFPNベースのバックボーンよりも性能を向上させることを実証する。

提案手法

• ステムを備えたマルチステージのカスケードネットワーク（CEDNet）を提案し、続くmつのカスケード段階が各段階内でマルチスケール特徴融合を行う。
• 3つのエンコーダ-デコーダスタイル（Hourglass、UNet、FPN）を採用し、すべてが良好に機能することを示す。さらなる解析のデフォルトとしてFPNスタイルを選択。
• コアビルディングブロックとしてCEDブロック（トークンミキサー＋チャンネル相互作用のMLP）を使用し、長距離コンテキストを組み込む7x7拡張畳み込みを含むLR CEDブロックをオプションで採用。
• 段階間でエンコーダ-デコーダ構造を共有し、初期段階の高レベル特徴が後続段階の低レベル特徴学習を導くようにする。
• チャネル次元、ブロック数、段数の違いによるバリアント（CEDNet-NeXt-T/S/B）を実験する。
• COCOを対象とする物体検出・インスタンスセグメンテーションとADE20Kを対象とするセマンティックセグメンテーションのために、広範な微調整を実施する。

実験結果

リサーチクエスチョン

• RQ1 早期のマルチスケール特徴融合を伴うカスケード型エンコーダ-デコーダ設計は、軽量な融合モジュールを備えた従来のバックボーンより密集予測タスクで優れた性能を発揮できるか？
• RQ2 CEDNet内で、どのエンコーダ-デコーダスタイル（Hourglass、UNet、またはFPN）が精度と速度の最適なトレードオフをもたらすか？
• RQ3 長距離（LR）CEDブロックの組み込みは、最小のコストで性能を向上させるか？
• RQ4 早期融合のタイミングは、段階全体で検出性能にどう影響するか？
• RQ5 異なるトークンミキサー（DW conv、窓関心機構、等）は、タスク全体でCEDNetの利得に影響を与えるか？

主な発見

• CEDNetのバリアントは、FPN/NAS-FPN/BiFPNを用いたConvNeXtベースのバックボーンを、COCOの物体検出/インスタンスセグメンテーションで顕著なマージンで上回る。
• COCO val2017で、CEDNet-NeXt-TはAPb 49.3およびAP50 69.1、AP75 53.7を達成し、CEDNet-NeXt-SはAPb 50.3、AP50 70.2、AP75 55.2を達成する。
• CEDNetのバリアントは、ADE20Kのセマンティックセグメンテーションにも、マルチスケール検証でConvNeXtベースラインより0.8–2.2ポイントのmIoU向上をもたらす。
• COCOでは、CEDNet-NeXt-Tが検出ボックスAPを2.2–2.9ポイント、マスクAPを1.7–2.8ポイント、検出器（Deformable DETR、RetinaNet、Mask R-CNN、Cascade Mask R-CNN）に応じて改善; CEDNet-NeXt-Sはその利得を維持。
• アブレーションは、より早い融合タイミングがより良いAPを生み出すことを示し、LR CEDブロックは最小限のパラメータコストでボックスAPを約0.4ポイント追加獲得する。