[論文レビュー] Value of Temporal Dynamics Information in Driving Scene Segmentation

Li Ding, Jack Terwilliger+3 more|arXiv (Cornell University)|Mar 21, 2019

Visual Attention and Saliency Detection参考文献 52被引用数 5

ひとこと要約

本論文は、メモリ拡張ネットワークを用いて外観と空間時間的特徴を共同で学習することで、時間的ダイナミクスの価値をドライブシーンセグメンテーションにおいて調査している。背景の「ストラクチャー」クラス（例：道路、歩道、地形）は時間的文脈によって顕著に利益を受けるが、前方の物体は外観ベースの特徴のみでより良くセグメンテーションされる。提案手法は、新たにリリースされたMITドライブシーンセグメンテーションデータセットにおいて境界のノイズ除去と文脈モデリングを改善した。

ABSTRACT

Semantic scene segmentation has primarily been addressed by forming representations of single images both with supervised and unsupervised methods. The problem of semantic segmentation in dynamic scenes has begun to recently receive attention with video object segmentation approaches. What is not known is how much extra information the temporal dynamics of the visual scene carries that is complimentary to the information available in the individual frames of the video. There is evidence that the human visual system can effectively perceive the scene from temporal dynamics information of the scene's changing visual characteristics without relying on the visual characteristics of individual snapshots themselves. Our work takes steps to explore whether machine perception can exhibit similar properties by combining appearance-based representations and temporal dynamics representations in a joint-learning problem that reveals the contribution of each toward successful dynamic scene segmentation. Additionally, we provide the MIT Driving Scene Segmentation dataset, which is a large-scale full driving scene segmentation dataset, densely annotated for every pixel and every one of 5,000 video frames. This dataset is intended to help further the exploration of the value of temporal dynamics information for semantic segmentation in video.

研究の動機と目的

• 動的シーン理解における静的フレームの外観を超えて、動画の時間的ダイナミクスがセマンティックセグメンテーションに提供する補完的情報の程度を調査すること。
• 動的シーン理解における外観ベースの表現と空間時間的表現の相対的寄与度を理解すること。
• 空間的および空間時間的特徴を同時にモデリングするための共同学習フレームワークを開発すること。
• 将来的な研究を支援するため、大規模かつ完全にアノテートされたドライブシーンセグメンテーションデータセットをリリースすること。

提案手法

• 外観ストリーム（DeepLabV3）と再帰的メモリモジュールを用いたメモリ強化時間ストリームを有する二重ブランチネットワークを提案する。
• 学習された信頼性に基づいて外観とメモリネットワーク予測の融合を動的に重み付けるための信頼度ゲートを導入する。
• 5,000枚の高密度アノテート済み動画フレームを含むMITドライブシーンセグメンテーションデータセット上で、モデルをエンドツーエンドで訓練する。
• メモリネットワークからの空間時間的文脈を活用して、地形や歩道のような文脈依存的「ストラクチャー」クラスのセグメンテーションを改善する。
• 外観ストリームにおける空間表現を強化するため、拡張畳み込みとマルチスケール特徴集約を採用する。
• 学習された信頼度ゲートを介して空間的および時間的注意を適用し、各クラスに対して空間的または空間時間的特徴のどちらがより信頼性があるかを決定する。

実験結果

リサーチクエスチョン

• RQ1 静的画像の外観を超えて、ドライブシーンにおけるセマンティックセグメンテーションに時間的ダイナミクス情報が提供する追加的価値はどの程度か？
• RQ2 ドライブシーンにおけるクラス（例：前方 vs. 背景）の中で、空間時間的モデリングと外観モデリングのどちらがより利益を受けるか？
• RQ3 学習可能な融合メカニズム（信頼度ゲート）は、外観とメモリベースの予測を効果的にバランスさせ、セグメンテーションのロバストネスを向上させることができるか？
• RQ4 メモリネットワークは、地形や歩道のような「ストラクチャー」クラスの境界のノイズ除去と文脈モデリングをどの程度改善するか？
• RQ5 実世界のドライブ動画において、外観特徴と時間的特徴の相対的寄与度は、さまざまなセマンティックカテゴリでどのように変化するか？

主な発見

• メモリネットワークは、外観の手がかりが曖昧な境界領域において、特に道路、歩道、地形のような「ストラクチャー」クラスのセグメンテーションを顕著に改善する。
• 車両や歩行者のような前方物体は、外観ベースの特徴を用いることでより正確にセグメンテーションされ、時間的モデリングによる利益は最小限である。
• 訓練中に学習された信頼度ゲートは、前方物体では外観ストリームに強く依存し、背景の「ストラクチャー」クラスではメモリストリームに強く依存していることを示している。
• 提案手法は、ベースラインのDeepLabV3に対して一貫した改善を達成しており、特に文脈依存的クラスでの誤りを低減している。
• MITドライブシーンセグメンテーションデータセットは、自動運転シナリオにおける長期的および短期的な空間時間的文脈モデリングに関する将来的な研究を可能にする。
• 定性的な分析により、時間的文脈が動きぼけやカメラ効果による曖昧性を解消する助けになると確認された。特に背景領域で顕著である。