[論文レビュー] Decoders Matter for Semantic Segmentation: Data-Dependent Decoding Enables Flexible Feature Aggregation

Zhi Tian, Tong He+2 more|arXiv (Cornell University)|Mar 5, 2019

Advanced Neural Network Applications参考文献 35被引用数 8

ひとこと要約

本論文では、セマンティックセグメンテーションデコーダーにおける標準的なバイリニアアップサンプリングの代わりに、データに依存するアップサンプリングモジュールであるDUpsamplingを提案する。ラベル空間の冗長性を活用することで、低解像度特徴量（例：1/16 もしくは 1/32 解像度）から正確なピクセル単位の予測が可能となり、柔軟な特徴量集約が可能になり、計算量を約80％削減しながら、PASCAL VOC（88.1％）およびPASCAL Context（52.5％）で最先端のmIOUを達成する。これは、従来のモデルの計算量の30％未満で達成された。

ABSTRACT

Recent semantic segmentation methods exploit encoder-decoder architectures to produce the desired pixel-wise segmentation prediction. The last layer of the decoders is typically a bilinear upsampling procedure to recover the final pixel-wise prediction. We empirically show that this oversimple and data-independent bilinear upsampling may lead to sub-optimal results. In this work, we propose a data-dependent upsampling (DUpsampling) to replace bilinear, which takes advantages of the redundancy in the label space of semantic segmentation and is able to recover the pixel-wise prediction from low-resolution outputs of CNNs. The main advantage of the new upsampling layer lies in that with a relatively lower-resolution feature map such as $\frac{1}{16}$ or $\frac{1}{32}$ of the input size, we can achieve even better segmentation accuracy, significantly reducing computation complexity. This is made possible by 1) the new upsampling layer's much improved reconstruction capability; and more importantly 2) the DUpsampling based decoder's flexibility in leveraging almost arbitrary combinations of the CNN encoders' features. Experiments demonstrate that our proposed decoder outperforms the state-of-the-art decoder, with only $\sim$20\% of computation. Finally, without any post-processing, the framework equipped with our proposed decoder achieves new state-of-the-art performance on two datasets: 88.1\% mIOU on PASCAL VOC with 30\% computation of the previously best model; and 52.5\% mIOU on PASCAL Context.

研究の動機と目的

• セマンティックセグメンテーションデコーダーにおける標準的なバイリニアアップサンプリングの非効率性と性能の劣化を是正すること。
• 高解像度特徴量の回復における計算複雑性を低減しつつ、セグメンテーションの精度を損なわずに実現すること。
• 融合された低レベル特徴量の解像度を最終予測解像度から分離することで、特徴量集約における設計の柔軟性を拡張すること。
• 従来の最先端モデルの計算量の30％未満で、最先端の性能を達成すること。

提案手法

• ラベル空間の冗長性を活用して、低解像度のCNN特徴量から高解像度の予測を再構築する、学習可能でデータに依存するアップサンプリング層であるDUpsamplingを導入する。
• 標準的なエンコーダ・デコーダアーキテクチャの最終段階のバイリニアアップサンプリング層を、DUpsamplingに置き換えることで、再構築精度を向上させる。
• デコーダを設計し、アップサンプリングの前に最も低い解像度（例：1/16 もしくは 1/32）で特徴量を融合するようにすることで、空間的計算量を削減する。
• 訓練中に適応的温度softmaxを採用し、DUpsamplingモジュールの学習安定性を向上させる。
• 入力特徴量とセグメンテーションラベルのパターンに応じて動的に適応する学習可能なカーネルを採用し、空間的詳細の回復を向上させる。
• 推論時にマルチスケール推論とデータオーグメンテーションを適用することで、さらなる性能向上を図る。

実験結果

リサーチクエスチョン

• RQ1 データに依存するアップサンプリング手法は、標準的なバイリニアアップサンプリングを上回るセマンティックセグメンテーションの精度を達成できるか？
• RQ2 バイリニアアップサンプリングを学習可能でラベルに依存するアップサンプリングに置き換えることで、計算コストを削減しつつ、性能を維持または向上できるか？
• RQ3 融合された特徴量の解像度を最終予測解像度から分離することで、より効果的で柔軟な特徴量集約が可能になるか？
• RQ4 DUpsamplingを搭載した軽量デコーダーは、著しく計算量を削減しながらも最先端の性能を達成できるか？

主な発見

• 提案されたDUpsamplingベースのデコーダーは、PASCAL VOCテストセットで88.1％のmIOUを達成し、計算量がDeepLabv3+の30％未満（897.94B Multiply-Adds）で、新たな最先端性能を樹立した。
• PASCAL Contextでは、Xception-71を用いて52.5％のmIOUを達成し、COCO事前学習なしで新たな最先端性能を樹立したが、計算量は従来モデルの1/3未満であった。
• 計算量を約80％削減しながらも、性能を維持または向上させることができ、特に出力ストライド16の低解像度エンコーダを用いた場合でも、より高価な8ストライドバックボーンに比べて優れた性能を示した。
• 実験の結果、適応的温度softmaxは学習安定性を著しく向上させ、ヴァーチャルソフトマックス（69.81％）と比較して3.34％のmIOU向上（73.15％）を達成した。
• デコーダの柔軟性により、任意の特徴量レベル間での効果的な特徴量集約が可能であることが、アブレーションスタディで示された。特に、低解像度での特徴量融合により性能向上が確認された。
• 同じ訓練設定下でも、ヴァーチャルバイリニアデコーダーよりも本フレームワークが優れていることから、DUpsamplingの再構築能力と効率性の優位性が確認された。