[논문 리뷰] SymmNet: A Symmetric Convolutional Neural Network for Occlusion Detection

Ang Li, Zejian Yuan|arXiv (Cornell University)|2018. 07. 02.

Advanced Vision and Imaging인용 수 8

한 줄 요약

이 논문은 사전에 계산된 시차 또는 광학 흐름에 의존하지 않고 스테레오 영상 및 비디오 시퀀스에서 직접 음영을 탐지하는 대칭형 합성곱 신경망인 SymmNet을 제안한다. 좌우 대칭성을 활용하여 이원시 음영을 함께 추론함으로써, 스테레오 및 운동 음영 탐지 벤치마크에서 최신 기술 수준의 성능을 달성하여 F-스코어와 강인성 면에서 이전 방법들을 능가한다.

ABSTRACT

Detecting the occlusion from stereo images or video frames is important to many computer vision applications. Previous efforts focus on bundling it with the computation of disparity or optical flow, leading to a chicken-and-egg problem. In this paper, we leverage convolutional neural network to liberate the occlusion detection task from the interleaved, traditional calculation framework. We propose a Symmetric Network (SymmNet) to directly exploit information from an image pair, without estimating disparity or motion in advance. The proposed network is structurally left-right symmetric to learn the binocular occlusion simultaneously, aimed at jointly improving both results. The comprehensive experiments show that our model achieves state-of-the-art results on detecting the stereo and motion occlusion.

연구 동기 및 목표

• 음영 탐지의 '닭과 계란 문제'를 해결하기 위해, 시차 또는 광학 흐름 추정이 필요하지만, 이는 음영으로 인해 방해받는다는 점을 해결한다.
• 사전에 계산된 시차 또는 운동 계산에 의존하지 않고, 원시 영상 쌍에서 직접 음영을 학습함으로써 이를 제거한다.
• 좌우 시야를 함께 모델링하는 대칭형 네트워크 아키텍처를 통해 음영 탐지 정확도를 향상시킨다.
• 통합된 프레임워크를 사용하여 스테레오 및 운동 음영 탐지 작업에 대한 일반화 능력을 입증한다.

제안 방법

• SymmNet는 시계열 형태의 좌우 대칭형 합성곱 신경망 아키텍처를 사용하여 동시에 스테레오 영상 쌍을 처리한다.
• 네트워크는 시차 또는 운동 추정을 건너뛰고 영상 쌍에서 직접 이진 음영 맵을 예측하도록 엔드 투 엔드로 훈련된다.
• 좌우 대칭성은 시야 간 음영 예측의 일관성을 보장하여 특징 학습과 강인성을 향상시킨다.
• 희소 음영을 포함한 데이터셋에서의 클래스 불균형을 다루기 위해 ε = 1.2로 설정된 클래스 가중 교차 엔트로피 손실을 사용한다.
• 초기 학습률을 1×10⁻³으로 감소시켜 50 에포크 스케줄을 사용해 Middlebury 데이터셋에서 미세조정한다.
• 연속된 비디오 프레임을 입력으로 간주함으로써 아키텍처를 운동 음영 탐지에 적응시키며, 동일한 대칭 설계를 유지한다.

실험 결과

연구 질문

• RQ1 사전에 계산된 시차 또는 광학 흐름에 의존하지 않고 스테레오 영상에서 음영을 직접 탐지할 수 있는가?
• RQ2 합성곱 신경망 아키텍처에서 좌우 대칭성이 이원시 음영 탐지 정확도와 일관성에 어떻게 기여하는가?
• RQ3 단일 대칭 네트워크가 스테레오 및 운동 음영 탐지 작업 모두에 일반화될 수 있는가?
• RQ4 기준 데이터셋에서 F-스코어, 정밀도 및 재현율 측면에서 SymmNet은 최신 기술 수준의 방법들과 어떻게 비교되는가?
• RQ5 대칭 설계가 카메라 설정 및 조명 조건의 변동에 대해 강인성을 향상시키는가?

주요 결과

• SymmNet는 SceneFlow 스테레오 음영 벤치마크에서 F-스코어 0.873을 기록하여, MC-CNN + LRC(0.802)와 같은 이전 방법들을 능가한다.
• Middlebury 데이터셋에서의 미세조정 후(SymmNet-MB), MPI Sintel 운동 음영 탐지 벤치마크에서 F-스코어 0.828을 달성하여 비교된 모든 방법들을 초월한다.
• 미세조정 없이도 최신 기술 수준의 모델과 유사한 성능을 내어, 다양한 데이터셋 간 강력한 일반화 능력을 입증한다.
• Tesla M40 GPU에서 이미지 쌍당 0.07초 내에 실행되며, 메모리 사용량이 단지 651MB이므로 실시간 응용에 적합하다.
• MPI Sintel에서의 정성적 결과는 복잡한 운동 시퀀스에서도 미세하고 희박한 음영 영역을 정확하게 탐지함을 보여준다.
• 대칭 설계는 특히 어려운 조명 및 텍스처 조건에서 일관성과 강인성을 향상시킨다.