[論文レビュー] CARAFE++: Unified Content-Aware ReAssembly of FEatures

Jiaqi Wang, Kai Chen+4 more|arXiv (Cornell University)|Dec 7, 2020

Advanced Neural Network Applications参考文献 60被引用数 8

ひとこと要約

CARAFE++ は、深層ネットワークにおける効率的なアップサンプリングおよびダウンサンプリングのため、空間的に適応するカーネルを動的に生成する軽量でコンテキストに敏感な特徴再構成演算子である。文脈特徴を活用してインスタンス固有の再構成重みを生成することで、オブジェクト検出、セグメンテーション、画像補填の各タスクで性能を向上させ、計算コストを最小限に抑える。COCO検出では 2.5% の AP_{box} の向上を達成し、ADE20k セグメンテーションでは 1.94% の mIoU の向上を示した。

ABSTRACT

Feature reassembly, i.e. feature downsampling and upsampling, is a key operation in a number of modern convolutional network architectures, e.g., residual networks and feature pyramids. Its design is critical for dense prediction tasks such as object detection and semantic/instance segmentation. In this work, we propose unified Content-Aware ReAssembly of FEatures (CARAFE++), a universal, lightweight and highly effective operator to fulfill this goal. CARAFE++ has several appealing properties: (1) Unlike conventional methods such as pooling and interpolation that only exploit sub-pixel neighborhood, CARAFE++ aggregates contextual information within a large receptive field. (2) Instead of using a fixed kernel for all samples (e.g. convolution and deconvolution), CARAFE++ generates adaptive kernels on-the-fly to enable instance-specific content-aware handling. (3) CARAFE++ introduces little computational overhead and can be readily integrated into modern network architectures. We conduct comprehensive evaluations on standard benchmarks in object detection, instance/semantic segmentation and image inpainting. CARAFE++ shows consistent and substantial gains across all the tasks (2.5% APbox, 2.1% APmask, 1.94% mIoU, 1.35 dB respectively) with negligible computational overhead. It shows great potential to serve as a strong building block for modern deep networks.

研究の動機と目的

• 密度予測タスクにおけるプーリングや補間といった固定カーネル手法の限界を解消すること。
• 標準的な畳み込み/逆畳み込みにおける非効率性とコンテキストへの感受性の欠如を克服すること。
• オンザフライでカーネルを生成する、普遍的で軽量な演算子を設計し、大受容 field かつコンテキストに敏感な特徴再構成を実現すること。
• FPN や U-Net、Mask R-CNN といった現代的なアーキテクチャに顕著な計算コストを増加させることなくシームレスに統合できること。
• オブジェクト検出、インスタンス/セマンティックセグメンテーション、画像補填を含む多様な密度予測ベンチマークで一貫した性能向上を示すこと。

提案手法

• アップサンプリングとダウンサンプリングの両方をサポートする統一フレームワークを提案し、コンテキストに敏感で空間的に適応する再構成カーネルを用いる。
• softmax正規化を用いた軽量な全畳み込みネットワークにより、オンザフライで再構成カーネルを生成し、カーネル重みの合計が 1 になるように保証する。
• 入力特徴マップから文脈特徴を抽出するコンテンツエンコーダを用意し、その特徴をもとに各ターゲット位置の再構成カーネルを予測する。
• 予測されたカーネルを適用して、事前に定義された領域内での特徴の重み付き集約を実行し、大受容 field の情報統合を可能にする。
• カーネル予測時の計算コストを削減しながら性能を維持するためのチャンネル圧縮モジュールを導入する。
• 経験則的な設計ルールを採用：$k_{encoder} = k_{reassembly} - 2$。性能と効率のバランスを最適化する。

実験結果

リサーチクエスチョン

• RQ1 局所的コンテキストに適応する特徴再構成演算子は、固定カーネル手法に比べて密度予測タスクでより優れた性能を達成できるか？
• RQ2 高い計算コストを伴わず、大受容 field の文脈情報を効果的に特徴再構成に統合する方法は何か？
• RQ3 高い正確性と効率性を維持しつつ、軽量でオンザフライでカーネルを生成する最適な設計は何か？
• RQ4 統一的でコンテキストに敏感な再構成演算子は、検出、セグメンテーション、補填といった多様な密度予測タスクでどの程度性能を向上できるか？
• RQ5 カーネルサイズやチャンネル圧縮といったハイパーパramータは、性能と計算効率のトレードオフにどのように影響するか？

主な発見

• Faster R-CNN において MS COCO で 2.5% の AP_{box} の絶対的向上を達成し、オブジェクト検出における強力な性能向上を示した。
• インスタンスセグメンテーションでは、MS COCO test-dev で Mask R-CNN の性能が 2.1% の AP_{mask} 向上を示し、密度予測タスクにおける頑健性を裏付けた。
• ADE20k におけるセマンティックセグメンテーションでは、UperNet が 1.94% の mIoU 向上を達成し、高解像度で文脈に敏感なタスクにおける有効性を示した。
• 画像補填タスクでは、Places バリデーションセットで Global&Local が PSNR で 1.35 dB 向上し、優れた特徴再構成品質を示した。
• 計算オーバーヘッドはほとんど無視できるほど小さく、アブレーションスタディにより、アップサンプリングでは $C_m = 64$、ダウンサンプリングでは $C_m = 16$ が性能-効率トレードオフにおいて最適であると確認された。
• ソフトマックスを用いたカーネル正規化がシグモイドの変種を上回り、正規化され、合計が 1 に等しいカーネルが安定的かつ効果的な再構成に不可欠であることを確認した。