[論文レビュー] Video Scene Parsing with Predictive Feature Learning

Xiaojie Jin, Xin Li+10 more|arXiv (Cornell University)|Dec 1, 2016

Cancer-related molecular mechanisms research被引用数 6

ひとこと要約

本論文では、予測特徴学習を活用してラベルなし動画データから空間時間的特徴を抽出し、予測誘導アーキテクチャを用いてパースィングの整合性と正確性を向上させる、動画シーンパースィングフレームワークPEARLを提案する。将来のフレームとそのセマンティックマップを予測するようにネットワークを訓練することで、CityscapesおよびCamvidで強力なベースラインを大きく上回る顕著なmIoU向上を達成した。これは、ヴァニラなVGG16およびRes101バックボーンを用いても成立する。

ABSTRACT

In this work, we address the challenging video scene parsing problem by developing effective representation learning methods given limited parsing annotations. In particular, we contribute two novel methods that constitute a unified parsing framework. (1) extbf{Predictive feature learning}} from nearly unlimited unlabeled video data. Different from existing methods learning features from single frame parsing, we learn spatiotemporal discriminative features by enforcing a parsing network to predict future frames and their parsing maps (if available) given only historical frames. In this way, the network can effectively learn to capture video dynamics and temporal context, which are critical clues for video scene parsing, without requiring extra manual annotations. (2) extbf{Prediction steering parsing}} architecture that effectively adapts the learned spatiotemporal features to scene parsing tasks and provides strong guidance for any off-the-shelf parsing model to achieve better video scene parsing performance. Extensive experiments over two challenging datasets, Cityscapes and Camvid, have demonstrated the effectiveness of our methods by showing significant improvement over well-established baselines.

研究の動機と目的

• フレームごとのモデルが時間的文脈を欠いていることによる、一貫性のないかつノイジーな動画シーンパースィングの課題に対処すること。
• 大規模なラベルなし動画データを活用して自己教師付き表現学習を実現することで、高価なピクセルレベルのアノテーションに依存するのを減らすこと。
• 既存の画像パースィングモデルに時間的整合性と構造的認識を統合することで、パースィング性能を向上させること。
• 予測監視とアーキテクチャ的ガイダンスを通じて、特徴学習と推論の両方を向上させる統合フレームワークの開発

提案手法

• 予測特徴学習は、歴史的フレームのみを用いて将来のフレームとそのセマンティックパースィングマップを予測するネットワークを訓練することで、空間時間的ダイナミクスの自己教師付き学習を可能にする。
• 予測誘導パースィングアーキテクチャは、時間に敏感なネットワークと標準的な画像パースィングネットワークを同時に学習し、予測特徴を用いて予測の空間時間的整合性をガイドする。
• 軽量なAdapNetモジュールは、予測ネットワークとパースィングネットワーク間の潜在的変換を学習し、特徴空間の整合性を高め、特徴転送を改善する。
• フレーム予測とパースィングマップ予測を同時に最適化するマルチタスク監視により、エンドツーエンドでフレームワークを訓練する。
• 標準的なCNNバックボーン（VGG16、Res101）を用い、アーキテクチャの変更なしに、既存モデルと即座に統合可能である。
• CRFなどの後処理を回避し、シングルスケール推論を採用することで、高速かつ効率的なデプロイが可能である。

実験結果

リサーチクエスチョン

• RQ1 将来のフレームとパースィングマップの自己教師付き予測は、動画シーンパースィングにおける空間時間的特徴学習を向上させることができるか？
• RQ2 ベースネットワークを変更せずに、予測誘導アーキテクチャが時間的整合性と局所的詳細の保持を向上させることができるか？
• RQ3 VSPにおける時間的文脈をモデル化する際、予測特徴学習は光流に基づく手法と比べてどのように優れているか？
• RQ4 VGG16のような最小限のアーキテクチャを採用したPEARLは、大幅に変更された最先端モデルをどれほど上回ることができるか？

主な発見

• Cityscapes検証セットにおいて、PEARLはVGG16ベースラインに対して6.4 mIoUの向上を達成し、Res101ベースラインに対しては2.4 mIoUの向上を示した。
• Cityscapesテストセットでは、Res101を用いたPEARLが、公表済み手法の中で最高のパフォーマンスを記録し、先行SOTAを大きく上回った。
• Camvidでは、PEARLはRes101ベースラインに対してPAを1.6%、CAを2.5%向上させ、CRF後処理を施した光流ベース手法を上回った。
• アブレーションスタディにより、AdapNetはVGG16とRes101の両方でmIoUをそれぞれ1.1および0.3向上させたことが確認され、特徴整合性に寄与することが示された。
• 両データセットにおいて、光流拡張ベースライン（feat_OF + IPNet）を著しく上回ったことから、PEARLが時間的文脈をより優れた方法でモデル化していることが証明された。
• ヴァニラなVGG16バックボーンでさえもSOTAパフォーマンスを達成したため、PEARLは強力な一般化性能と、より強力なアーキテクチャへのスケーラビリティを示している。