[論文レビュー] Robust Semantic Segmentation with Ladder-DenseNet Models

Ivan Krešo, Marin Oršić+2 more|arXiv (Cornell University)|Jun 9, 2018

Advanced Neural Network Applications参考文献 13被引用数 8

ひとこと要約

本稿では、修正されたアップサンプリングパスと新規のピラミッド損失を備えたラダーフォームのDenseNet-169モデルを提案する。都市環境、屋内、屋外の異なるドメインを含むCityscapes、ScanNet、KITTI、WildDashの4つのデータセットを同時に学習させることで、すべてのベンチマークで最先端の性能を達成し、WildDashではmIoUが59.6%、Cityscapesでは77.1%を記録した。これは、マルチデータセット学習による一般化性能の向上と分布外検出能力の強化を示している。

ABSTRACT

We present semantic segmentation experiments with a model capable to perform predictions on four benchmark datasets: Cityscapes, ScanNet, WildDash and KITTI. We employ a ladder-style convolutional architecture featuring a modified DenseNet-169 model in the downsampling datapath, and only one convolution in each stage of the upsampling datapath. Due to limited computing resources, we perform the training only on Cityscapes Fine train+val, ScanNet train, WildDash val and KITTI train. We evaluate the trained model on the test subsets of the four benchmarks in concordance with the guidelines of the Robust Vision Challenge ROB 2018. The performed experiments reveal several interesting findings which we describe and discuss.

研究の動機と目的

• 異なる現実世界の環境における分布シフトに強いセマンティックセグメンテーションモデルの開発。
• 都市、屋内、屋外など異なるドメインを持つ複数のデータセットを同時に学習させることで、一般化性能と不確実性検出能力が向上するかの調査。
• 補助損失とアーキテクチャの変更が、深層アップサンプリングパスにおける誤差伝搬をどれほど軽減できるかの評価。
• バッチ構成とクロスデータセット学習が、モデルの収束性と性能に与える影響の評価。

提案手法

• ダウンサンプリングパスに修正されたDenseNet-169バックボーンを用い、アップサンプリングパスのすべての連結演算を和に置き換えることで、効率性の向上とIoU精度の維持を図る。
• アップサンプリングパスでは各段階で1つの畳み込みのみを用い、フィルタ数を128から256に増加させることで、マルチデータセット学習におけるアンダーフィッティングを防止する。
• ダウンサンプリングパスのコンテキスト層に代わり、空間ピラミッドプーリングブロックを導入し、マルチスケール特徴表現を強化する。
• トレーニングの安定化と特徴学習の向上を目的として、従来の補助損失に代わる新規のピラミッド損失を補助損失として導入する。
• バッチ正規化の安定性と収束性を向上させるために、クロスデータセットミニバッチを用いてトレーニングを実施する。
• モデルの予測結果は双線形補間により入力解像度にアップサンプリングされ、ワンホットの真値と交差エントロピー損失を最適化対象とする。

実験結果

リサーチクエスチョン

• RQ1 1つのセマンティックセグメンテーションモデルが、Cityscapes、ScanNet、KITTI、WildDashのような多様で分布外のデータセットにおいても優れた性能を発揮できるか。
• RQ2 マルチデータセット学習が、モデルの一般化性能と分布シフトに対するロバストネスに与える影響は。
• RQ3 和ベースのアップサンプリングやピラミッド損失といったアーキテクチャの変更が、深層アップサンプリングパスにおける誤差蓄積をどれほど軽減できるか。
• RQ4 WildDashのような分布外データをバリデーションに含めることで、異常または破損した画像領域の検出能力が向上するか。
• RQ5 バッチ構成が、マルチドメインセマンティックセグメンテーションにおけるトレーニングの安定性と収束性に与える影響は。

主な発見

• CityscapesではクラスごとのmIoUが77.1%、KITTIでは63.5%を達成し、ROB 2018チャレンジでそれぞれ2位と3位を獲得した。
• WildDashではカテゴリごとのmIoUが54.5%を記録し、ぼやけたまたは歪んだパッチのような分布外領域の検出が顕著に向上した。
• ScanNetのみで学習した場合、WildDashテストデータにおける分布外ピクセルの認識が向上し、多くの分布外ピクセルがScanNetのクラスとして正しく分類された。これはOOD検出能力の向上を示している。
• ピラミッド損失はアップサンプリングパスにおける誤差伝搬を効果的に低減したが、細かい解像度では依然として若干のオーバーフィッティングが観察された。
• クロスデータセットバッチ学習により収束性と安定性が向上した。これは、異なるドメイン間でより良いバッチ正規化統計が得られたためと推測される。
• インディストリビューションの誤認識は最小限に抑えられた：約10億個のScanNetテストピクセルのうち、Cityscapesクラスに誤分類されたのは8ピクセルにとどまり、逆にCityscapesのピクセルがScanNetクラスに誤分類されたのも同様にわずかであった。