[論文レビュー] Layered Interpretation of Street View Images

Ming-Yu Liu, Shuoxin Lin+2 more|arXiv (Cornell University)|Jun 15, 2015

Video Surveillance and Tracking Methods参考文献 29被引用数 8

ひとこと要約

本論文は、ステレオ画像を用いて、セマンティックラベル（地面、車両、歩行者、建物、空など）と深度を同時に推定する4層構造のストリートビューモデルを提案する。外観特徴には深層ニューラルネットワークを、制約の強制には動的計画法に基づく推論アルゴリズムを採用し、階層的制約を満たすことで、Daimlerデータセットで86.3%のIoUを達成し、GPU上で8.8 fpsのリアルタイム性能を実現した。

ABSTRACT

We propose a layered street view model to encode both depth and semantic information on street view images for autonomous driving. Recently, stixels, stix-mantics, and tiered scene labeling methods have been proposed to model street view images. We propose a 4-layer street view model, a compact representation over the recently proposed stix-mantics model. Our layers encode semantic classes like ground, pedestrians, vehicles, buildings, and sky in addition to the depths. The only input to our algorithm is a pair of stereo images. We use a deep neural network to extract the appearance features for semantic classes. We use a simple and an efficient inference algorithm to jointly estimate both semantic classes and layered depth values. Our method outperforms other competing approaches in Daimler urban scene segmentation dataset. Our algorithm is massively parallelizable, allowing a GPU implementation with a processing speed about 9 fps.

研究の動機と目的

• 都市部のストリートシーンにおいて、幾何的整合性を向上させながら、セマンティックセグメンテーションと深度を同時に推定する課題に対処すること。
• 現実の道路シーンの幾何構造を反映する階層的シーン構造を強制することで、ピクセル単位のセマンティックセグメンテーションの限界を克服すること。
• ステレオ視差と深層外観特徴を統合して、セマンティックラベルと深度を同時に最適化する効率的で並列化可能な推論アルゴリズムを開発すること。
• FPGAなどの高価なハードウェアや動画シーケンスの時間的制約に依存せずに、高い精度を達成すること。

提案手法

• 左側ステレオ画像の深層ニューラルネットワーク（DNN）からのセマンティックヒントと、ステレオ視差コストボリュームからの深度ヒントを統合した、共同エネルギー最小化関数を定式化する。
• 4層構造のシーンモデルを定義：下から地面（底面）、動的物体（車両、歩行者）、建物、空（上面）で構成され、各画像列において深度が上向きに増加する。
• 動的計画法を用いてエネルギー関数を効率的に最小化し、階層的制約を満たし、幾何的に妥当な予測を保証する。
• 事前学習済みDNNからの外観特徴と、ステレオマッチングからの深度特徴を統合し、ピクセル単位のセマンティックスコアと深度値を計算する。
• GPU上で推論パイプラインを実装し、画像列ごとに並列化を実現し、リアルタイム性能（約8.8 fps）を達成する。
• 評価時における元解像度へのアップサンプリングを、後処理ステップで実施する。

実験結果

リサーチクエスチョン

• RQ1 階層的シーン表現を導入することで、幾何的整合性を強制することにより、都市部のストリートシーンにおけるセマンティックセグメンテーションの精度が向上するか？
• RQ2 ステレオデータを用いてセマンティックラベルと深度を共同最適化する手法は、2つのタスクを別々に処理する手法と比べてどのように異なるか？
• RQ3 外観のみのモデルと比較して、階層的制約は幾何的に不可能なラベリング（例：空に車両）をどの程度減少させるか？
• RQ4 効率的でGPU並列化可能な推論アルゴリズムは、FPGAや時間的依存性を必要としない状況でも、リアルタイム性能を維持しながら高い精度を達成できるか？

主な発見

• 提案手法は、Daimler都市シーンセグメンテーションデータセットで86.3%の平均交差率（IoU）を達成し、ALE（86.0%）とstix-mantics（80.6%）を上回った。
• 動的物体（車両と歩行者）においては77.2%のIoUを達成し、ALEの74.5%を上回り、移動障害物の処理が向上した。
• 階層的制約により、外観のみのディープラーニング（82.8% → 86.3% IoU）と比較して20.3%の誤差低減が確認され、幾何的に整合しない予測の削減効果が実証された。
• GPU上で8.8フレーム毎秒の実行速度を達成し、ALE（111,000 ms/フレーム）より著しく高速であり、stix-mantics（50 ms）と同等の性能を示したが、後者は事前計算された深度をFPGAで使用していた。
• ブリッジやトンネルのような困難なシーンに対しても頑健であり、GPSを用いて検出可能で、拡張されたレイヤー構造で処理可能である。
• 部品ごとの処理時間は、DNN推論が70.0 ms、深度コストボリュームが5.2 ms、中間テーブル計算が25.6 ms、推論が13.3 msで、GPU上で1フレームあたり合計114.1 msを要した。