[論文レビュー] Not All Pixels Are Equal: Difficulty-aware Semantic Segmentation via Deep Layer Cascade

Xiaoxiao Li, Ziwei Liu+3 more|arXiv (Cornell University)|Apr 5, 2017

Advanced Neural Network Applications参考文献 13被引用数 25

ひとこと要約

本稿では、1つのディープネットワークをサブモデルのカスケードとして扱う、難易度に配慮したセマンティックセグメンテーションフレームワークであるDeep Layer Cascade (LC)を提案する。初期段階では容易で高信頼度のピクセルを処理し、徐々に難易度の高い領域が深い段階に渡される。計算を曖昧な領域に限定することで、LCはPASCAL VOCおよびCityscapesで最先端のmIoUを達成するとともに、推論を顕著に高速化する（例：VOC12で14.3 FPS）。DeepLab-v2と比較して15倍高速でありながら、1.5%の精度損失で優れる。

ABSTRACT

We propose a novel deep layer cascade (LC) method to improve the accuracy and speed of semantic segmentation. Unlike the conventional model cascade (MC) that is composed of multiple independent models, LC treats a single deep model as a cascade of several sub-models. Earlier sub-models are trained to handle easy and confident regions, and they progressively feed-forward harder regions to the next sub-model for processing. Convolutions are only calculated on these regions to reduce computations. The proposed method possesses several advantages. First, LC classifies most of the easy regions in the shallow stage and makes deeper stage focuses on a few hard regions. Such an adaptive and 'difficulty-aware' learning improves segmentation performance. Second, LC accelerates both training and testing of deep network thanks to early decisions in the shallow stage. Third, in comparison to MC, LC is an end-to-end trainable framework, allowing joint learning of all sub-models. We evaluate our method on PASCAL VOC and Cityscapes datasets, achieving state-of-the-art performance and fast speed.

研究の動機と目的

• リアルタイムデプロイメントを制限する深層セマンティックセグメンテーションモデルの高い計算コストに対処すること。
• より深いネットワーク段階が、繰り返しの容易なピクセルではなく、分類が難しい領域に集中させることで、セグメンテーション精度を向上させること。
• 高い信頼度の予測を早期に除外することで、畳み込み計算を削減し、トレーニングおよび推論の両方の速度を向上させること。
• 従来のモデルカスケードとは異なり、初期段階が固定されているのではなく、すべての段階を同時に最適化できるエンドツーエンドでトレーニング可能なカスケードフレームワークを設計すること。
• PASCAL VOCやCityscapesを含む多様なデータセットに一般化できることを示すこと。特に、アーキテクチャの最小限の変更で実現すること。

提案手法

• 1つのディープネットワークを、複数のサブモデルのカスケードに分解し、それぞれがネットワークのレイヤーまたは段階に対応する。
• 各段階で、高い信頼度（例：95%以上のソフトマックススコア）のピクセルは除外され、以降の処理が行われず、不確実性の高いピクセル（難易度の高い領域）のみが次の段階に渡される。
• 計算負荷を、ピクセル単位ではなく領域単位の畳み込みにより、難易度の高い領域（中程度の難易度および極めて困難な領域）に限定することで削減する。
• エンドツーエンドでトレーニング可能であり、すべての段階を同時に最適化することで、特徴学習およびセグメンテーション精度の向上が可能である。
• アーキテクチャをレイヤー単位のカスケード構造に適応することで、IRNet、ResNetなどのさまざまなバックボーンに適用可能である。
• 深い段階で困難な領域にのみ監督信号を集中させることで、曖昧な境界における過学習を低減する、難易度に配慮した損失戦略が暗黙的に適用される。

実験結果

リサーチクエスチョン

• RQ1 カスケード化されたディープネットワークアーキテクチャにより、より深いレイヤーが困難な領域に集中させることで、セマンティックセグメンテーションの精度を向上させられるか？
• RQ2 高い信頼度のピクセルを早期に除外することで、トレーニングおよび推論の両方で計算コストを削減できるが、精度に悪影響を与えないか？
• RQ3 エンドツーエンドでトレーニング可能なカスケードフレームワークは、トレーニング中に初期段階が固定された従来のモデルカスケードを上回れるか？
• RQ4 難易度に配慮したカスケード機構は、PASCAL VOC や Cityscapes といった多様なデータセットにどの程度一般化できるか？
• RQ5 DeepLab-v2 や CRF-RNN といった最先端のモデルと比較して、本手法はスピードと精度のトレードオフにおいてどのように優れるか？

主な発見

• PASCAL VOC 2012 テストセットでは、IRNet-LCは1.0 FPSでmIoU 80.3%を達成し、COCOの事前学習やCRFの後処理を一切使用しないにもかかわらず、CRF-RNN（74.7%）およびDPN（77.5%）を上回った。
• VOC12ではIRNet-LCが14.3 FPSを達成し、DeepLab-v2（79.7%）と比較して1.5%のmIoU低下にとどまり、15倍の高速化を実現しながらも、競争力のある精度を維持した。
• CityscapesではLCがmIoU 71.1%を達成し、多様なシーンやオブジェクトカテゴリに強く一般化していることが示された。
• 初期段階で少なくとも40%のピクセルが除外されたことで計算量が削減された。特に背景領域では、1オブジェクトカテゴリあたり30%のピクセルが95%以上の信頼度で分類された。
• 細かく形状が変化しやすい「fence」、「pole」、「sign」、「truck」、「bus」、「bike」などの従来から難しいとされるクラスにおいて、LCは最先端の手法を上回った。
• 可視化比較では、境界領域における曖昧さが著しい場合でも、DPN や DeepLab-v2 よりもより正確で一貫性のあるセグメンテーションマップを生成した。