[論文レビュー] Full-Resolution Residual Networks for Semantic Segmentation in Street Scenes

Tobias Pohlen, Alexander Hermans+2 more|arXiv (Cornell University)|Nov 24, 2016

Advanced Neural Network Applications参考文献 52被引用数 17

ひとこと要約

本稿では、街路風景におけるセマンティックセグメンテーションのための新規なResNetに類似したアーキテクチャ、フルリソリューション残差ネットワーク（FRRN）を提案する。FRRNは、1つの処理スレッドでフル画像リソリューションを維持することで、正確な境界適合を実現する一方、別のプールドスレッドを用いて頑健な特徴学習を実現する。事前学習や後処理を一切用いず、Cityscapes検証セットで71.8%の平均交差率（mIoU）という最先端の性能を達成した。

ABSTRACT

Semantic image segmentation is an essential component of modern autonomous driving systems, as an accurate understanding of the surrounding scene is crucial to navigation and action planning. Current state-of-the-art approaches in semantic image segmentation rely on pre-trained networks that were initially developed for classifying images as a whole. While these networks exhibit outstanding recognition performance (i.e., what is visible?), they lack localization accuracy (i.e., where precisely is something located?). Therefore, additional processing steps have to be performed in order to obtain pixel-accurate segmentation masks at the full image resolution. To alleviate this problem we propose a novel ResNet-like architecture that exhibits strong localization and recognition performance. We combine multi-scale context with pixel-level accuracy by using two processing streams within our network: One stream carries information at the full image resolution, enabling precise adherence to segment boundaries. The other stream undergoes a sequence of pooling operations to obtain robust features for recognition. The two streams are coupled at the full image resolution using residuals. Without additional processing steps and without pre-training, our approach achieves an intersection-over-union score of 71.8% on the Cityscapes dataset.

研究の動機と目的

• 自動運転を想定したセマンティックセグメンテーションにおける、局所化の正確性と認識性能のトレードオフを解消すること。
• プーリングやダウンサンプリングによって局所化性能が低下する事前学習済み分類ネットワークの限界を克服すること。
• 境界の正確性を維持するためのフルリソリューション特徴を保持する、軽量でエンドツーエンドで学習可能なアーキテクチャを開発すること。
• 一般的に境界を精緻化するために用いられるCRFスムージングなどの後処理ステップの必要性を排除すること。
• 新規なデュアルスレッドアーキテクチャを用いて、スクラッチから学習することで、ベンチマークデータセットで最先端の性能に達することもしくはそれを上回ることを実証すること。

提案手法

• デュアルスレッドアーキテクチャを設計：1つのスレッドがフル画像リソリューションで特徴を処理する（ハイレゾスレッド）、もう1つのスレッドがプーリング操作を適用して階層的かつ高レベルの表現を構築する（プールスレッド）。
• ハイレゾスレッドとプールスレッド間のフルリソリューションでの残差接続を可能にするフルリソリューション残差ユニット（FRRU）を導入し、解像度の損失なしに特徴の統合を実現する。
• プールスレッドからの残差接続を活用してハイレゾスレッドをガイド・強化し、粗い意味的文脈と細粒度の空間的正確性を組み合わせる。
• ImageNetの事前学習を回避するため、Cityscapesのトレーニングデータのみを用いて、エンドツーエンドでネットワーク全体をスクラッチから学習する。
• 両スレッド内で標準的な畳み込み層、バッチ正規化、ReLU活性化関数を用い、空間的整合性を維持するためのアンプルーピングによるアップサンプリングを適用する。
• 確率的勾配降下法を用い、重み減衰とコサインスケジュールのアニーリングを適用し、多クラスセグメンテーションのための交差エントロピー損失を最適化対象とする。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みImageNetモデルに依存せずに、完全畳み込みネットワークアーキテクチャが最先端のセマンティックセグメンテーション性能を達成できるか？
• RQ2 ネットワーク全体でフルリソリューションの特徴マップを維持することで、プーリングを伴う従来のFCNアプローチと比較して境界適合性が向上するか？
• RQ3 ハイレゾとプールド特徴スレッドを組み合わせたデュアルスレッド設計は、認識性能と局所化性能の両方を同時に向上させられるか？
• RQ4 Cityscapesベンチマークにおいて、mIoUや境界正確性（トリマップ評価）といった定量的指標から、提案アーキテクチャは既存手法とどのように比較されるか？
• RQ5 提案アーキテクチャを用いる場合、CRFや類似技術による後処理は必要か、それともネットワーク自体が本質的に高品質でシャープなセグメンテーションマスクを生成するか？

主な発見

• FRRNは、ImageNetの事前学習を一切使用せず、Cityscapes検証セットで71.8%の平均交差率（mIoU）を達成し、現在の最先端性能に一致した。
• すべての半径（1〜80ピクセル）においてトリマップ評価で、LRRや拡張畳み込みベースのモデルと比較して顕著に優れた境界適合性を示した。
• 半分解像度の画像で学習しても、フルリソリューション入力で学習した手法と同等の性能を達成したため、強力なインダクティブバイアスと効率的な特徴学習が可能であることが示された。
• 完全連結CRFによる後処理はmIoUを約0.5%しか向上させなかったため、ネットワークのネイティブな予測がすでに非常に正確で滑らかであることが示された。
• アーキテクチャは良好に一般化する：質的評価では、細い杭、フェンス、複雑な歩道境界といった挑戦的ケースでも、クリアで正確な予測が得られた。
• アブレーションスタディにより、FRRUを含むデュアルスレッド設計が性能に不可欠であることが確認された。ハイレゾスレッドやFRRUを削除すると、mIoUが顕著に低下した。