[論文レビュー] CARAFE: Content-Aware ReAssembly of FEatures

Jiaqi Wang, Kai Chen+4 more|arXiv (Cornell University)|May 6, 2019

Advanced Neural Network Applications参考文献 47被引用数 41

ひとこと要約

CARAFEは、普遍的で軽量なアップサンプリング演算子で、コンテンツに基づく領域別のカーネル再構成を用いて、受容野が大きい密な予測タスクの性能を向上させます。

ABSTRACT

Feature upsampling is a key operation in a number of modern convolutional network architectures, e.g. feature pyramids. Its design is critical for dense prediction tasks such as object detection and semantic/instance segmentation. In this work, we propose Content-Aware ReAssembly of FEatures (CARAFE), a universal, lightweight and highly effective operator to fulfill this goal. CARAFE has several appealing properties: (1) Large field of view. Unlike previous works (e.g. bilinear interpolation) that only exploit sub-pixel neighborhood, CARAFE can aggregate contextual information within a large receptive field. (2) Content-aware handling. Instead of using a fixed kernel for all samples (e.g. deconvolution), CARAFE enables instance-specific content-aware handling, which generates adaptive kernels on-the-fly. (3) Lightweight and fast to compute. CARAFE introduces little computational overhead and can be readily integrated into modern network architectures. We conduct comprehensive evaluations on standard benchmarks in object detection, instance/semantic segmentation and inpainting. CARAFE shows consistent and substantial gains across all the tasks (1.2%, 1.3%, 1.8%, 1.1db respectively) with negligible computational overhead. It has great potential to serve as a strong building block for future research. It has great potential to serve as a strong building block for future research. Code and models are available at https://github.com/open-mmlab/mmdetection.

研究の動機と目的

• 密な予測タスクのために大量の文脈情報を統合できる特徴アップサンプリング演算子の動機づけと設計。
• 固定のグローバルカーネルではなく、アップサンプリング時のインスタンス固有（コンテンツ認識）処理を可能にする。
• 大きな受容野を提供しつつ、効率と軽量な計算を維持する。
• 物体検出、インスタンス/セマンティックセグメンテーション、画像インペインティングのすべてにおける普遍的な有効性を示す。

提案手法

• 軽量なカーネル予測モジュールを用いて、局所コンテンツから位置特異的な再構成カーネルを予測する。
• 予測されたカーネルを用いた重み付き和で、事前に定義された領域内の特徴を再構成する。
• 再構成が局所的で総和が1となるウェイト付けになるよう、ソフトマックスでカーネルを正規化する。
• 標準のアップサンプリング演算子（最近傍/双線形）またはデコンボリューションを置換して、既存のアーキテクチャへCARAFEを組み込む。
• 性能と効率のバランスを取るため、エンコーダー/カーネルサイズ、圧縮チャネル数などのハイパーパラメータを分析する。

実験結果

リサーチクエスチョン

• RQ1 コンテンツ認識、領域ベースのアップサンプリングは、固定アップサンプリング法を超えて密な予測タスクの性能を向上させるか。
• RQ2 カーネルサイズ、エンコーダーサイズ、チャネル圧縮がCARAFEの精度と効率に与える影響は何か。
• RQ3 CARAFEは物体検出、インスタンス分割、セマンティック分割、画像インペインティングのすべてで一貫した改善をもたらすか。

主な発見

• CARAFEはタスクを横断して一貫した改善をもたらす：Faster R-CNNで+1.2% AP、Mask R-CNNで+1.3% AP、ADE20kで+1.8% mIoU、Placesインペインティングで+1.1 dB PSNR。
• コンテンツ認識のインスタンス固有カーネルを用いた大規模受容野の集約を提供。
• デコンボリューションと比較して計算オーバーヘッドは小さく、256チャネルのHxW特徴マップを2倍アップサンプリングする場合のCARAFEのFLOPsは大幅に低い。
• FPNおよびマスクヘッドの標準アップサンプリングをCARAFEに置換すると、複数のアブレーションで最高APを達成。
• アブレーションでは、圧縮チャネル(C_m=64)の使用が性能を維持しつつ効率を高めることを示す；k_encoder≈k_up−2は良いデフォルト、ソフトマックス正規化は効果的。