[論文レビュー] C3: Concentrated-Comprehensive Convolution and its application to semantic segmentation

Hyojin Park, Youngjoon Yoo+4 more|arXiv (Cornell University)|Dec 12, 2018

Advanced Neural Network Applications被引用数 31

ひとこと要約

本稿では、計算複雑度を低下させつつ精度を損なわずに、軽量なセマンティックセグメンテーションモデルにおける標準的な拡張畳み込みの代わりに、C3と呼ばれる新しい畳み込みブロックを提案する。局所的特徴の集中を実現する深度方向非対称畳み込みと、拡大された受容 field を維持する深度方向分離拡張畳み込みを組み合わせることで、C3 は空間情報を保持し、特徴活性化を向上させる。この手法により、ESPNet よりも最大で 35% の FLOPs 減少と 50% のパラメータ削減を達成し、Cityscapes データセットで mIOU を約 2% 向上させた。

ABSTRACT

One of the practical choices for making a lightweight semantic segmentation model is to combine a depth-wise separable convolution with a dilated convolution. However, the simple combination of these two methods results in an over-simplified operation which causes severe performance degradation due to loss of information contained in the feature map. To resolve this problem, we propose a new block called Concentrated-Comprehensive Convolution (C3) which applies the asymmetric convolutions before the depth-wise separable dilated convolution to compensate for the information loss due to dilated convolution. The C3 block consists of a concentration stage and a comprehensive convolution stage. The first stage uses two depth-wise asymmetric convolutions for compressed information from the neighboring pixels to alleviate the information loss. The second stage increases the receptive field by using a depth-wise separable dilated convolution from the feature map of the first stage. We applied the C3 block to various segmentation frameworks (ESPNet, DRN, ERFNet, ENet) for proving the beneficial properties of our proposed method. Experimental results show that the proposed method preserves the original accuracies on Cityscapes dataset while reducing the complexity. Furthermore, we modified ESPNet to achieve about 2% better performance while reducing the number of parameters by half and the number of FLOPs by 35% compared with the original ESPNet. Finally, experiments on ImageNet classification task show that C3 block can successfully replace dilated convolutions.

研究の動機と目的

• 深層分離畳み込みと拡張畳み込みを単純に統合することで生じる、軽量なセマンティックセグメンテーションモデルの性能低下を解消すること。
• 拡張畳み込みによる情報損失を軽減するとともに、モデルの複雑さを低減する新しい畳み込みブロックの設計。
• 再トレーニングを伴わずに、既存のセグメンテーションフレームワークにおける拡張畳み込みの即座な交換を可能にすること。
• 提案されたブロックがセグメンテーションを越えて、画像分類タスクなどに一般化可能であることを示すこと。
• 再訓練なしに、埋め込みシステム上でリアルタイム推論を実現し、精度を向上させつつ計算コストを削減すること。

提案手法

• C3 ブロックは2段階構造である：第1段階は、隣接する空間的情報を圧縮し、局所的特徴の一貫性を向上させる2つの深度方向非対称畳み込みを用いた集中段階。
• 第2段階では、受容 field を拡大しつつも計算コストを低く保つために、深度方向分離拡張畳み込みを適用する。
• 集中段階により、拡張畳み込みを適用する前に局所ピクセル近傍に注目することで、情報損失を低減する。
• C3 ブロックは、ESPNet や ERFNet、ENet、DRN といったエンコーダ・デコーダアーキテクチャにおいて、標準的な拡張畳み込みを即座に交換する形で適用可能である。
• C3 ブロックは、画像分類タスク用に DRN に適応し、残差ブロック内の拡張畳み込みを置き換えることで、パラメータと FLOPs を削減した。
• Grad-CAM を用いて特徴活性化マップを可視化し、局所化能と特徴回復能の向上を定性的に検証した。

実験結果

リサーチクエスチョン

• RQ1 セマンティックセグメンテーションモデルにおいて、FLOPs やパラメータを削減しながら性能を維持できる軽量な畳み込みブロックを設計可能か？
• RQ2 深層分離畳み込みと拡張畳み込みを組み合わせると性能が低下する理由は何か？ その原因をどのように緩和できるか？
• RQ3 提案された C3 ブロックは、ESPNet や ERFNet、ENet、DRN といった多様なアーキテクチャにおいて、拡張畳み込みの効果的な代替として機能するか？
• RQ4 C3 ブロックは、セグメンテーションタスクに加え、分類タスクにおいても性能を維持または向上させるか？
• RQ5 C3 ブロックにより、再訓練なしに埋め込みシステム上でリアルタイム推論を実現できるか、かつ精度を損なわないか？

主な発見

• 修正版 ESPNet において、C3 ブロックはパラメータを 50% 減少、FLOPs を 35% 減少させるとともに、Cityscapes データセットで mIOU を約 2% 向上させた。
• C3-ENet は、元の ENet よりも 26% の FLOPs 減少と 2% の性能向上を達成した。
• C3-ERFNet は、ベースラインの ERFNet よりも 30% のパラメータ削減と 1% 以上の mIOU 向上を示した。
• C3-DRN-C26 は、DRN-C26 と比較して、パラメータを 63% 減少、FLOPs を 61% 減少させたが、mIOU はたった 0.4% の低下にとどまった。
• ImageNet では、C3-DRN-C44* はパラメータを 30% 減少、FLOPs を 50% 減少させた一方で、DRN-C26 よりも高いトップ-1精度を達成した。
• Grad-CAM の可視化により、C3 ブロックが標準的な深層分離拡張畳み込みよりも優れた特徴活性化の回復を実現していることが確認され、局所化能力の向上が示された。