[論文レビュー] Future Segmentation Using 3D Structure

Suhani Vora, Reza Mahjourian+2 more|arXiv (Cornell University)|Nov 28, 2018

Robotics and Sensor-Based Localization参考文献 22被引用数 4

ひとこと要約

本論文では、学習された深度推定と自己運動予測を通じて3次元シーン構造を活用することで、将来の意味的セグメンテーションのための新規なアプローチを提案する。過去の意味的マスクを予測された3次元剛体変換（SE3）により変換することで、最先端の性能を達成し、ベースライン比で最大12.5%のIoU向上を実現。将来のRGBデータや運動情報がなくても、0.9秒先までの正確な予測が可能である。

ABSTRACT

Predicting the future to anticipate the outcome of events and actions is a critical attribute of autonomous agents; particularly for agents which must rely heavily on real time visual data for decision making. Working towards this capability, we address the task of predicting future frame segmentation from a stream of monocular video by leveraging the 3D structure of the scene. Our framework is based on learnable sub-modules capable of predicting pixel-wise scene semantic labels, depth, and camera ego-motion of adjacent frames. We further propose a recurrent neural network based model capable of predicting future ego-motion trajectory as a function of a series of past ego-motion steps. Ultimately, we observe that leveraging 3D structure in the model facilitates successful prediction, achieving state of the art accuracy in future semantic segmentation.

研究の動機と目的

• RGBや2次元空間特徴に依存するのではなく、3次元シーン幾何構造を組み込むことで、将来の意味的セグメンテーションを向上させること。
• 外部センサーを用いずに単眼動画から3次元変換を学習することで、長時間予測が可能な将来フレームの正確な予測を可能にすること。
• 生のピクセル空間ではなく、意味的・幾何的空間で処理することで、将来予測におけるぼやけや不確実性を低減すること。
• 動画のみから深度、自己運動、将来の軌道を同時に学習する自己教師付きフレームワークを開発すること。
• 3次元構造と運動モデリングが、将来フレームのセグメンテーション精度を顕著に向上させることを実証すること。

提案手法

• 本手法は、単眼RGB動画から深度と自己運動を同時に予測する統合モデルを用い、過去のフレームからシーンの3次元再構築を可能にする。
• 過去のフレームからの意味的セグメンテーションマスクを予測された深度を用いて3次元空間に投影し、3次元ポイントクラウドを形成する。
• 予測された将来の自己運動（SE3変換）を用いて、3次元ポイントクラウドを変換し、エージェントの将来の視点をシミュレートする。
• 変換された3次元ポイントクラウドを再び2次元画像空間に投影することで、将来のセグメンテーションマスクを生成する。
• 過去の自己運動シーケンスから将来の自己運動軌道を予測するための再帰的ニューラルネットワーク（RNN）を訓練し、長期的な精度を向上させる。
• 各変換ステップの後に対象領域補填モジュール（inpainting module）を適用し、欠損または無効な深度値に起因する誤差の蓄積を軽減する。

実験結果

リサーチクエスチョン

• RQ1 2次元ピクセルレベルの予測を上回る3次元幾何的構造の活用が、将来の意味的セグメンテーションの精度向上に寄与するか？
• RQ2 過去の運動シーケンスから将来の自己運動軌道を学習することで、長期的なセグメンテーション性能にどのような影響を与えるか？
• RQ3 3次元深度と運動の統合が、将来フレーム予測におけるぼやけや不確実性をどの程度低減するか？
• RQ4 自己教師付きモデルが単眼動画から深度と自己運動を単独で学習し、正確な将来のセグメンテーションを可能にするか？
• RQ5 直接的な自己回帰的またはGANベースの手法と比較して、3次元剛体変換（SE3）が、より構造的かつ信頼性の高い予測経路を提供するか？

主な発見

• 本手法は最先端の性能を達成し、運動変換、補填、学習された将来の自己運動を組み合わせた16→19予測タスクにおいて、平均IoUが0.6147に達した。
• 学習された将来の自己運動を組み込むことで、16→19タスクにおける運動変換＋補填ベースライン比でIoUが1.5%向上した。
• 推定された自己運動を用いることで、4→19タスクにおいても36.8%のIoUを達成し、正確な運動予測が長期性能において不可欠であることを示した。
• 補填処理により誤差の蓄積が軽減され、特に欠損値が顕著に現れる長時間予測（例：16→19）において効果が顕著に現れた。
• 誤差解析の結果、主な誤差要因は自己運動の低予測とオクルージョンであり、運動予測および幾何モデリングの改善の余地があることが示された。
• 本手法は、0.9秒先までの意味的セグメンテーションを正確に予測でき、リアルタイムの自律意思決定への実用可能性を示した。