[論文レビュー] UnrealStereo: Controlling Hazardous Factors to Analyze Stereo Vision

Yi Zhang, Weichao Qiu+3 more|arXiv (Cornell University)|Dec 14, 2016

Advanced Vision and Imaging参考文献 32被引用数 9

ひとこと要約

本稿では、 Unreal Engine 4 に基づいて構築された合成データ生成ツールである UnrealStereo を紹介する。このツールにより、滑らかさ、透明性、テクスチャレスネス、細い構造物といった危険要因を、仮想ステレオシーンにおいて正確に制御できる。著者らは、自動的に危険領域マスクを生成し、これらの要因の度合いを変化させながらステレオアルゴリズムをストレステストすることで、最先端の手法（MC-CNN や SPS-St）が滑らかで透明な表面に対してはあまり頑健でないことを示した。一方、大規模なサポート領域を持つグローバル手法は、より優れた耐性を示すことが判明し、Middlebury や KITTI といった実世界データセットでも裏付けられた。

ABSTRACT

A reliable stereo algorithm is critical for many robotics applications. But textureless and specular regions can easily cause failure by making feature matching difficult. Understanding whether an algorithm is robust to these hazardous regions is important. Although many stereo benchmarks have been developed to evaluate performance, it is hard to quantify the effect of hazardous regions in real images because the location and severity of these regions are unknown. In this paper, we develop a synthetic image generation tool enabling to control hazardous factors, such as making objects more specular or transparent, to produce hazardous regions at different degrees. The densely controlled sampling strategy in virtual worlds enables to effectively stress test stereo algorithms by varying the types and degrees of the hazard. We generate a large synthetic image dataset with automatically computed hazardous regions and analyze algorithms on these regions. The observations from synthetic images are further validated by annotating hazardous regions in real-world datasets Middlebury and KITTI (which gives a sparse sampling of the hazards). Our synthetic image generation tool is based on a game engine Unreal Engine 4 and will be open-source along with the virtual scenes in our experiments. Many publicly available realistic game contents can be used by our tool to provide an enormous resource for development and evaluation of algorithms.

研究の動機と目的

• 滑らかさやテクスチャレスネスといった、制御された危険状態下でのステレオアルゴリズムの頑健性に関する体系的評価の不足に対処すること。
• 危険要因（例えば、滑らかさ、透明性）を正確に制御できる合成ステレオ画像と対応する真値マスクを自動的に生成するスケーラブルな手法の開発。
• Middlebury や KITTI の実世界データセットにおいて、危険領域のスパarsな手動アノテーションを用いて、合成データからの発見を実世界データで検証すること。
• 再現可能でオープンソースのプラットフォームを提供することで、研究者が個々の危険要因がステレオ性能に与える影響を体系的に調査できるようにすること。
• 実世界の画像に対する高コストな手動アノテーションに依存するのを減らし、初期の診断と検証に合成データを活用すること。

提案手法

• Unreal Engine 4 を活用し、反射性や透明性といった材料特性を制御することで、危険要因を模擬した高精細な仮想シーンをレンダリングする。
• オブジェクトセグメンテーションや材料属性といった真値データを用いて、自動的に危険領域マスクを生成し、関心領域を定義する。
• 6つの仮想シーンにおいて、危険要因を複数の度合いにわたって密にスキャンするパラメータ空間を構築する。
• 10,000枚の合成画像ペアからランダムに抽出された484組のステレオペアに対して、最先端のステレオアルゴリズム（例：MC-CNN, SPS-St, CoR, DispNetC）を訓練および評価する。
• Middlebury や KITTI データセットにおけるアノテート済み危険領域でのアルゴリズム性能を相関分析により比較することで、合成データの検証を行う。
• ツール、仮想シーン、合成データセットをオープンソースとして公開し、将来的なステレオビジョン研究を支援する。

実験結果

リサーチクエスチョン

• RQ1 滑らかさの増加が、最先端のステレオアルゴリズムの性能にどのように影響するか？
• RQ2 透明な表面はステレオマッチングの正確性をどの程度低下させるのか？ また、どのアルゴリズムが最も頑健か？
• RQ3 テクスチャレスネスは視差推定にどのように影響するのか？ また、アルゴリズムの性能はテクスチャレスネスの度合いに応じて変化するか？
• RQ4 制御された危険要因を有する合成データは、アノテート済みデータセットにおける実世界のアルゴリズム行動を信頼性を持って予測できるか？
• RQ5 大規模なサポート領域を持つグローバル手法とローカル手法とを比較した場合、危険領域におけるマッチングのあいまいさを処理する能力に差は生じるか？

主な発見

• MC-CNN は一般ステレオベンチマークで最高のパフォーマンスを示すが、特に滑らかで透明な領域では顕著な性能低下を示す。
• SPS-St と CoR は、滑らかで透明な領域で最小の誤差を達成しており、大規模なサポート領域を持つグローバル正則化がマッチングのあいまいさに対する耐性を高めることを示している。
• DispNetC はテクスチャレス領域で最も優れたパフォーマンスを示すが、その性能はテクスチャレスネスの度合いに極めて敏感であり、極めてテクスチャレスなシーンではより良い結果を出す。
• 合成データにおけるアルゴリズムのパフォーマンスと実世界データセット（Middlebury では 0.91、KITTI では 0.61）との相関は高く、合成データの代表性が裏付けられた。
• 合成データセットにおける危険領域の割合は KITTI よりも高く、KITTI の半密集な真値では多くの危険領域（例：車の窓）が除外されているため、合成評価の全体的な誤差が高くなる可能性がある。
• 合成データ生成パイプラインにより、最小限の手動アノテーションで、体系的かつ再現可能なステレオアルゴリズムのストレステストが可能となり、実世界の検証コストが削減された。