[논문 리뷰] UnrealStereo: Controlling Hazardous Factors to Analyze Stereo Vision

Yi Zhang, Weichao Qiu외 3명|arXiv (Cornell University)|2016. 12. 14.

Advanced Vision and Imaging참고 문헌 32인용 수 9

한 줄 요약

이 논문은 Unreal Engine 4 기반의 합성 데이터 생성 도구인 UnrealStereo를 소개한다. 이 도구는 가상 스테레오 환경에서 반사성, 투명성, 무문자성, 얇은 구조물 등의 위험 인자에 대해 정밀한 제어를 가능하게 한다. 자동으로 위험 영역 마스크를 생성하고, 이러한 인자들의 다양한 수준에서 스테레오 알고리즘을 스트레스 테스트함으로써, 최신 기법인 MC-CNN와 SPS-St가 반사성 및 투명 표면에 대해 덜 내구성이 있음을 입증한다. 반면, 넓은 지원 영역을 가진 전역 기법은 뛰어난 내구성을 보이며, Middlebury 및 KITTI와 같은 실제 데이터셋을 통해 검증된다.

ABSTRACT

A reliable stereo algorithm is critical for many robotics applications. But textureless and specular regions can easily cause failure by making feature matching difficult. Understanding whether an algorithm is robust to these hazardous regions is important. Although many stereo benchmarks have been developed to evaluate performance, it is hard to quantify the effect of hazardous regions in real images because the location and severity of these regions are unknown. In this paper, we develop a synthetic image generation tool enabling to control hazardous factors, such as making objects more specular or transparent, to produce hazardous regions at different degrees. The densely controlled sampling strategy in virtual worlds enables to effectively stress test stereo algorithms by varying the types and degrees of the hazard. We generate a large synthetic image dataset with automatically computed hazardous regions and analyze algorithms on these regions. The observations from synthetic images are further validated by annotating hazardous regions in real-world datasets Middlebury and KITTI (which gives a sparse sampling of the hazards). Our synthetic image generation tool is based on a game engine Unreal Engine 4 and will be open-source along with the virtual scenes in our experiments. Many publicly available realistic game contents can be used by our tool to provide an enormous resource for development and evaluation of algorithms.

연구 동기 및 목표

• 반사성 및 무문자성과 같은 제어 가능한 위험 조건 하에서 스테레오 알고리즘의 내구성에 대한 체계적 평가가 부족한 문제를 해결하기 위해.
• 정밀하게 제어 가능한 위험 인자와 해당 지상 진실 마스크를 갖춘 합성 스테레오 이미지를 자동으로 생성할 수 있는 확장성 있고 자동화된 방법을 개발하기 위해.
• Middlebury 및 KITTI와 같은 실제 데이터셋에서 희박한 수동 주석이 있는 위험 영역을 바탕으로 합성 데이터에서의 발견을 실제 데이터셋에 검증하기 위해.
• 재현 가능하고 오픈소스 플랫폼을 통해 연구자들이 개별 위험 인자가 스테레오 성능에 미치는 영향을 체계적으로 연구할 수 있도록 하기 위해.
• 비용이 많이 들는 실제 이미지의 수동 주석을 줄이기 위해, 초기 진단 및 검증을 위해 합성 데이터를 사용함으로써 의존도를 감소시키기 위해.

제안 방법

• 반사성, 투명성 등 물리적 성질을 제어할 수 있는 고해상도 가상 환경을 Unreal Engine 4를 활용해 렌더링하여 위험 인자를 시뮬레이션하기 위해.
• 객체 세그멘테이션 및 재질 속성과 같은 지상 진실 데이터를 활용해 위험 영역 마스크를 자동으로 생성하여 관심 영역을 정의하기 위해.
• 6개의 가상 환경에서 밀도 높은 파라미터 공간을 구현하여, 반사성, 투명성, 무문자성 등 위험 인자를 다수 수준에서 다양하게 조절하기 위해.
• 10,000개의 합성 이미지 쌍에서 무작위로 선택한 484개의 스테레오 쌍을 기반으로 최신 스테레오 알고리즘(MC-CNN, SPS-St, CoR, DispNetC)을 훈련 및 평가하기 위해.
• Middlebury 및 KITTI 데이터셋의 주석이 있는 위험 영역에서 알고리즘 성능을 비교함으로써 합성 데이터의 발견을 검증하기 위해 상관 분석을 수행하기 위해.
• 도구, 가상 환경, 합성 데이터셋을 오픈소스로 공개하여 향후 스테레오 시각 및 그 외 분야의 연구를 지원하기 위해.

실험 결과

연구 질문

• RQ1 반사성이 증가할수록 최신 스테레오 알고리즘의 성능에 어떤 영향을 미치는가?
• RQ2 투명 표면은 스테레오 매칭 정확도를 얼마나 떨어뜨리며, 어떤 알고리즘이 가장 내구성이 있는가?
• RQ3 무문자성은 디스parity 추정에 어떤 영향을 미치며, 알고리즘 성능은 무문자성의 정도에 따라 어떻게 변하는가?
• RQ4 제어 가능한 위험 인자를 갖춘 합성 데이터는 실제 주석이 있는 데이터셋에서 알고리즘 행동을 신뢰성 있게 예측할 수 있는가?
• RQ5 큰 지원 영역을 가진 전역 기법은 국소 기법에 비해 위험 영역에서 매칭 모호성 처리에 어떻게 비교되는가?

주요 결과

• MC-CNN는 일반 스테레오 벤치마크에서 최고 성능을 보였지만, 특히 반사성 및 투명 영역에서 성능 저하가 심각하게 나타났다.
• SPS-St와 CoR는 반사성 및 투명 영역에서 가장 낮은 오차를 기록하여, 넓은 지원 영역을 가진 전역 정규화가 매칭 모호성에 대한 내구성을 향상시킨다는 것을 시사한다.
• DispNetC는 무문자 영역에서 가장 우수한 성능을 보였지만, 무문자성의 정도에 매우 민감하여 극도로 무문자적인 환경에서는 더 나은 결과를 얻는다.
• 합성 데이터에서의 알고리즘 성능과 실제 데이터셋(Middlebury: 0.91, KITTI: 0.61) 간 상관관계가 높아 합성 데이터의 대표성을 검증한다.
• 합성 데이터셋의 위험 영역 비율은 KITTI보다 높으며, KITTI의 반밀도 지상 진실 데이터는 많은 위험 영역(예: 자동차 유리)을 포함하지 않아 합성 평가에서 전체 오차가 더 높을 수 있다.
• 합성 데이터 생성 파이프라인은 최소한의 수동 주석으로 스테레오 알고리즘에 대한 체계적이고 반복 가능한 스트레스 테스트를 가능하게 하여 실제 검증 비용을 감소시킨다.