[論文レビュー] Predicting Deeper into the Future of Semantic Segmentation

Pauline Luc, Natalia Neverova+3 more|arXiv (Cornell University)|Mar 22, 2017

Advanced Neural Network Applications参考文献 46被引用数 37

ひとこと要約

本論文は、自己回帰的畳み込みニューラルネットワークを用いて、最大0.5秒先の将来のセマンティックセグメンテーションマップを予測する、新しいタスクを提案する。生のRGBピクセルではなく、高レベルのシーンダイナミクスを直接モデル化することにより、長期間予測精度が著しく向上し、オラクルモデルの平均IoUの66％に達する。これは、RGB予測 followed 画像セグメンテーションおよび光流ワープベースラインを上回る。

ABSTRACT

The ability to predict and therefore to anticipate the future is an important attribute of intelligence. It is also of utmost importance in real-time systems, e.g. in robotics or autonomous driving, which depend on visual scene understanding for decision making. While prediction of the raw RGB pixel values in future video frames has been studied in previous work, here we introduce the novel task of predicting semantic segmentations of future frames. Given a sequence of video frames, our goal is to predict segmentation maps of not yet observed video frames that lie up to a second or further in the future. We develop an autoregressive convolutional neural network that learns to iteratively generate multiple frames. Our results on the Cityscapes dataset show that directly predicting future segmentations is substantially better than predicting and then segmenting future RGB frames. Prediction results up to half a second in the future are visually convincing and are much more accurate than those of a baseline based on warping semantic segmentations using optical flow.

研究の動機と目的

• 自律システムにおける長期的視覚予測の課題に取り組むことを目的とし、将来の動画フレームのセマンティックセグメンテーションを予測すること。
• 生のRGBフレームを予測してからセグメンテーションを適用するのではなく、セマンティックレベルのダイナミクスをモデル化することが、より効果的であるかどうかを調査すること。
• 静止画像セグメンテーションと将来予測を分離するスケーラブルで汎用的なフレームワークを構築し、高価な密な動画アノテーションへの依存を減らすこと。
• 自己回帰的モデリングの長期的セマンティック予測への限界、特にオクルージョンや高速運動下での性能を評価すること。
• 微調整なしで新しいドメインに適用可能なモデルのクロスデータセット一般化性能を評価すること。

提案手法

• 自己回帰的畳み込みニューラルネットワークを、過去のフレーム列から逐次的に将来のセグメンテーションマップを生成するように訓練する。
• 多スケールのコンテキストと長距離依存関係を捉えるために、拡張畳み込みを用いたU-Netに類似したエンコーダ・デコーダアーキテクチャを採用する。
• 予測されたセグメンテーションマップに対してL1損失と交差エントロピー損失の組み合わせを用い、視覚的品質を向上させるために敵対的微調整を施す。
• 入力フレームはRGB画像または事前計算されたセマンティックセグメンテーションのいずれかであり、異なる入力・ターゲットの組み合わせでモデルを評価する。
• 長期予測のため、モデルは自身の過去の予測結果を次のステップの入力として逐次的に予測を生成する。
• 評価には17枚（約1秒）のフレーム間隔を用い、予測を最大10秒先まで延長する。

実験結果

リサーチクエスチョン

• RQ1 直接的に将来のセマンティックセグメンテーションを予測する方法が、まずRGBフレームを予測してからセグメンテーションを適用する間接的手法を上回るか？
• RQ2 0.5〜10秒という長い時間窓において、自己回帰的セマンティック予測の性能はどのように低下するか？
• RQ3 Cityscapesで学習したモデルが、微調整なしにCamVidに一般化できる程度はどの程度か？
• RQ4 RGB、セグメンテーション、あるいは両方の入力モodal が、将来予測の品質と安定性にどのように影響するか？
• RQ5 敵対的学習は、動く車両や歩行者を含む複雑なシーンにおいて、予測マップの輪郭精度と現実性を向上させるか？

主な発見

• 自己回帰的モデルは、Cityscapesデータセットにおいて0.5秒先の予測で、オラクルセグメンテーションモデルの平均IoUの66％を達成した。
• 直接的なセマンティックレベルの予測は、まずRGBフレームを予測してからセグメンテーションモデルを適用するベースラインを上回り、特に長期予測において顕著に優れた性能を示した。
• 光流に基づくワープ手法は、オクルージョンや新たに出現する物体（例：接近中の車両の後部）に対して、信頼性の低い光流推定のため失敗した。
• 敵対的微調整により、特に動く車両や歩行者を含む複雑なシーンにおいて、輪郭精度と視覚的リアリズムが向上した。
• 微調整なしでCamVidに一般化した場合、中距離予測（1〜2秒先）で46.8％のIoUを達成し、オラクルモデルの55.4％に対して妥当な性能を示した。
• 長期自己回帰的予測では2秒を過ぎると性能が急激に低下し、オブジェクトクラスがぼやけた平均の未来に平均化されてしまう傾向が見られた。