[論文レビュー] Efficient Segmentation: Learning Downsampling Near Semantic Boundaries

Dmitrii Marin, Zijian He+5 more|arXiv (Cornell University)|Jul 16, 2019

Domain Adaptation and Few-Shot Learning参考文献 52被引用数 13

ひとこと要約

本稿では、ニューラルネットワークを用いてセマンティック境界付近でより多くのピクセルをサンプリングする内容に適応したダウンサンプリング手法を提案する。この手法により、小形物体や境界詳細のセマンティックセグメンテーション精度が向上し、計算効率を維持する。本手法は均一なダウンサンプリングを上回り、境界局所化誤差を低減し、スケール変動に対しても優れた対処を行う。

ABSTRACT

Many automated processes such as auto-piloting rely on a good semantic segmentation as a critical component. To speed up performance, it is common to downsample the input frame. However, this comes at the cost of missed small objects and reduced accuracy at semantic boundaries. To address this problem, we propose a new content-adaptive downsampling technique that learns to favor sampling locations near semantic boundaries of target classes. Cost-performance analysis shows that our method consistently outperforms the uniform sampling improving balance between accuracy and computational efficiency. Our adaptive sampling gives segmentation with better quality of boundaries and more reliable support for smaller-size objects.

研究の動機と目的

• 均一なダウンサンプリングによって引き起こされるセマンティックセグメンテーション品質の低下、特に物体境界や小形物体においての問題を解決すること。
• 非均一なサンプリングパターンを学習することで、計算効率とセグメンテーション精度のトレードオフを改善すること。
• 再トレーニングを必要とせず、既存のセグメンテーションアーキテクチャを強化できるプラグアンドプレイモジュールを開発すること。
• 境界に配慮したサンプリングにより、境界局所化における量子化誤差を低減すること。
• 小さな高曲率領域でのサンプリング密度を高めることで、スケール変動を暗黙的に扱うこと。

提案手法

• 目標クラスの真値におけるセマンティック境界に引き寄せられる非均一なサンプリング位置を予測するための補助的CNNを訓練する。
• 境界の曲率と長さに基づく幾何モデルを用いて、物体境界付近で密度を高めるスパarsなグリッドとしてサンプリング位置を生成する。
• ダウンサンプリングされた特徴量は、標準的で効率的なセグメンテーションCNNで処理され、その後、元の高解像度のセグメンテーションマップにアップサンプリングされる。
• 標準的なCNNベースの補間とは異なり、スパースで非均一にサンプリングされた点からセグメンテーションマップを再構築するためのカスタム補間法を用いる。
• 境界の高曲率領域に近づくよう促す損失関数を用いて、エンドツーエンドに訓練する。この損失は境界近似誤差を最小化することを目的とする。
• 理論的分析により、境界近似誤差が $\mathcal{O}(\frac{\kappa l^2}{N^2})$ に比例することが示され、均一なダウンサンプリングの $\mathcal{O}(\frac{D}{\sqrt{N}})$ よりも著しく優れている。

実験結果

リサーチクエスチョン

• RQ1 セマンティック境界付近でのサンプリング密度を高めることで、計算コストを増加させずにセグメンテーション精度を向上させることができるか？
• RQ2 非均一で境界に配慮したダウンサンプリングは、均一なダウンサンプリングと比較して境界局所化誤差においてどのように異なるか？
• RQ3 適応的ダウンサンプリングは、小形物体やスケールが異なる物体において、どの程度性能を向上させるか？
• RQ4 提案手法は、最小限の変更で既存のセグメンテーションパイプラインに統合可能であり、一貫した性能向上をもたらすか？
• RQ5 非均一なサンプリングにおける境界近似誤差の理論的上限は、均一なサンプリングと比較してどの程度か？

主な発見

• 提案手法では、サンプル数が増加するに従い、境界局所化誤差が均一なダウンサンプリングよりも著しく速やかに減少し、$\mathcal{O}(\frac{\kappa l^2}{N^2})$ の誤差を達成する。一方、均一なダウンサンプリングでは $\mathcal{O}(\frac{D}{\sqrt{N}})$ となる。
• ApolloScapeデータセットでは、物体サイズが小さくなるに従い、より滑らかに性能が低下するが、特に $64\times64$ のダウンサンプリングで小形物体のリcallが向上する。
• DeepLab や PSPNet などの複数のアーキテクチャおよび Cityscapes, COCO, ApolloScape などの複数のデータセットで、最小限の計算オーバーヘッドで一貫した mIoU の向上を達成する。
• 補助ネットワークは推論コストをわずかに増加させるにとどまり、均一なダウンサンプリングよりも優れたコストパフォーマンスのトレードオフを実現する。
• 小さなセグメントにおけるサンプリング密度の増加により、スケール効果が暗黙的に均等化され、特徴学習が簡素化される。
• 可視化結果では、境界がより明確で正確になり、サイクリストのような小形物体が均一なダウンサンプリングではよく見逃されがちな点でも、より良いサポートが得られている。