[論文レビュー] Improving Semantic Segmentation via Video Propagation and Label Relaxation

Yi Zhu, Karan Sapra+5 more|arXiv (Cornell University)|Dec 4, 2018

Advanced Neural Network Applications参考文献 46被引用数 37

ひとこと要約

本論文は、統合的画像・ラベル伝搬と境界ラベル緩和を導入することで、合成されたトレーニングサンプルのノイズを低減し、画像予測に基づくデータ拡張手法を提案する。この手法により、アンサンブルを用いない単一モデルで、Cityscapesでは83.5%、CamVidでは82.9%、KITTIでは72.8%のSOTA mIoUスコアを達成した。

ABSTRACT

Semantic segmentation requires large amounts of pixel-wise annotations to learn accurate models. In this paper, we present a video prediction-based methodology to scale up training sets by synthesizing new training samples in order to improve the accuracy of semantic segmentation networks. We exploit video prediction models' ability to predict future frames in order to also predict future labels. A joint propagation strategy is also proposed to alleviate mis-alignments in synthesized samples. We demonstrate that training segmentation models on datasets augmented by the synthesized samples leads to significant improvements in accuracy. Furthermore, we introduce a novel boundary label relaxation technique that makes training robust to annotation noise and propagation artifacts along object boundaries. Our proposed methods achieve state-of-the-art mIoUs of 83.5% on Cityscapes and 82.9% on CamVid. Our single model, without model ensembles, achieves 72.8% mIoU on the KITTI semantic segmentation test set, which surpasses the winning entry of the ROB challenge 2018. Our code and videos can be found at https://nv-adlr.github.io/publication/2018-Segmentation.

研究の動機と目的

• セマンティックセグメンテーションにおける高コストで困難なピクセル単位のラベル付けを効率的にスケーリングするため、トレーニングデータを拡張すること。
• 特にオブジェクト境界に沿って生じる動画予測アーチファクトに起因するラベルの不整合やノイズを低減すること。
• ラベル伝搬における不確実性をモデル化する境界ラベル緩和技術を導入することで、モデルのロバスト性と精度を向上させること。
• 従来のオプティカルフローに基づく伝搬や人手によるアノテーションのみのデータよりも、動画予測に基づくデータ合成が優れていることを示すこと。
• アンサンブルを必要としない単一モデルで、主要ベンチマークでSOTA性能を達成すること。

提案手法

• トレーニング済みの動画予測モデルを活用し、画像とその対応するセマンティックラベルを時間的に前方に伝搬させ、新しい合成画像・ラベルペアを生成する。
• 画像とラベルを同じモデルで伝搬することで空間的整合性を保つ「統合的画像・ラベル伝搬（JP）」を導入する。
• オブジェクト境界に沿って隣接クラス確率の和の尤度を最大化することでラベル緩和を実施し、ノイズの多い伝搬ラベルに対する過信を低減する。
• 複数の将来ステップにわたり、同じ動画予測モデルを用いてトレーニングデータセットをスケールアップする。
• 実データと合成データの組み合わせでセグメンテーションモデルを訓練し、訓練中に緩和技術を適用することでロバスト性を向上させる。
• 特にKittiのような小規模データセットにおいても性能を向上させるために、テストセットでマルチスケール推論戦略を採用する。

実験結果

リサーチクエスチョン

• RQ1 動画予測モデルを効果的に活用して、高品質で整合性のある画像・ラベルペアをセマンティックセグメンテーションのデータ拡張に合成できるか？
• RQ2 独立した画像とラベルの伝搬と比較して、統合的画像・ラベル伝搬は不整合アーチファクトを低減できるか？
• RQ3 境界ラベル緩和技術は、合成データにおけるアノテーションノイズや伝搬誤差に対するモデルのロバスト性を向上させられるか？
• RQ4 提案手法は、SOTA手法と比較して、ベンチマークデータセットにおけるセグメンテーション精度をどの程度向上できるか？
• RQ5 本手法で訓練された単一モデルは、Kittiのような難易度の高いベンチマークでアンサンブルベースの手法を上回れるか？

主な発見

• 提案手法は、Cityscapesの検証セットで83.5%のSOTA mIoUを達成し、先行手法を上回った。
• CamVidデータセットでは、単一スケール評価で81.7%、マルチスケール評価で82.9%のmIoUを達成し、前回SOTAを大きく上回った。
• KITTIベンチマークでは、単一モデルで72.8%のmIoUを達成し、5つのモデルをアンサンブルした2018年ROBチャレンジ優勝エントリーよりも優れた性能を示した。
• アブレーションスタディの結果、拡張データとラベル緩和を削除するとCamVidでmIoUが1.9%低下し、両者の有効性が確認された。
• 境界ラベル緩和技術により、性能の劣化を伴わずに長距離伝搬が可能となり、精度とロバスト性の両方が向上した。
• オプティカルフローに基づく伝搬ベースラインと比較して、本手法はセグメンテーション性能で優れており、データ合成における動画予測モデルの優位性を示した。