[논문 리뷰] Unsupervised RGBD Video Object Segmentation Using GANs

M. Sultana, Arif Mahmood외 2명|arXiv (Cornell University)|2018. 11. 05.

Video Surveillance and Tracking Methods참고 문헌 27인용 수 10

한 줄 요약

이 논문은 생성적 적대적 네트워크(GANs)를 사용하여 색상과 깊이 모odalities를 동시에 활용하는 비지도 RGBD 비디오 객체 분할 방법인 ForeGAN_RGBD를 제안한다. 이 방법은 RGB 및 깊이 데이터에 대해 독립적으로 GAN을 훈련시어 시나리오에 맞는 배경을 생성하고, 이를 테스트 프레임에서 빼내어 움직이는 객체를 탐지하며, 결과를 융합하여 조명 변화, 그림자, 색상/깊이 캄oufl라주와 같은 도전적인 조건에서도 정확도를 향상시킨다.

ABSTRACT

Video object segmentation is a fundamental step in many advanced vision applications. Most existing algorithms are based on handcrafted features such as HOG, super-pixel segmentation or texture-based techniques, while recently deep features have been found to be more efficient. Existing algorithms observe performance degradation in the presence of challenges such as illumination variations, shadows, and color camouflage. To handle these challenges we propose a fusion based moving object segmentation algorithm which exploits color as well as depth information using GAN to achieve more accuracy. Our goal is to segment moving objects in the presence of challenging background scenes, in real environments. To address this problem, GAN is trained in an unsupervised manner on color and depth information independently with challenging video sequences. During testing, the trained GAN generates backgrounds similar to that in the test sample. The generated background samples are then compared with the test sample to segment moving objects. The final result is computed by fusion of object boundaries in both modalities, RGB and the depth. The comparison of our proposed algorithm with five state-of-the-art methods on publicly available dataset has shown the strength of our algorithm for moving object segmentation in videos in the presence of challenging real scenarios.

연구 동기 및 목표

• 조명 변화, 그림자, 색상 또는 깊이 캄oufl라주와 같은 복잡한 배경 조건이 존재하는 실세계 비디오에서 전경 객체 분할 문제를 해결한다.
• 동적인 또는 모호한 배경 환경에서 성능이 저하되는 전통적인 수작업 기반 및 딥러닝 기반 방법의 한계를 극복한다.
• 표준 훈련 데이터가 필요 없는 RGB 및 깊이 모달리티를 활용하는 비지도 학습 프레임워크를 개발한다.
• 전경 객체가 거의 모든 프레임에 지속적으로 존재하는 부트스트랩 시나리오에서의 강건성을 향상시킨다.
• GAN에 의해 생성된 배경에서 유도된 RGB 및 깊이 모달리티 예측의 융합을 통해 뛰어난 분할 성능을 달성한다.

제안 방법

• 실세계 도전 상황에서 시나리오에 맞는 배경 표현을 학습하기 위해 비지도 적대적 훈련 기반으로 RGB 및 깊이 비디오 시퀀스에 대해 별도의 GAN을 훈련시킨다.
• 추론 단계에서 광학 흐름을 사용하여 운동 마스크를 추정하고, 이를 통해 테스트 프레임에서 움직이는 객체를 마스크 처리하여 배경 콘텐츠를 고립시킨다.
• 마스크 처리된 테스트 프레임을 입력으로 사용하여 훈련된 GAN을 통해 배경 이미지를 생성하며, 역전파를 활용해 신뢰할 수 있는 배경 장면을 재구성한다.
• 생성된 배경을 원본 테스트 프레임에서 빼내어 RGB 및 깊이 모달리티에서 전경 객체 후보를 추출한다.
• 양 모달리티에서 유도된 이진 분할 마스크를 요소별 평균 또는 투표를 통해 융합하여 최종 전경 분할 결과를 도출한다.
• GAN이 낮은 랭크의 배경 구조를 모델링할 수 있는 능력을 통해 시공간 일관성을 확보하여, 동적인 배경과 노이즈에 대한 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 실세계 도전 상황에서 비지도 GAN 기반 접근이 RGB 및 깊이 모달리티에서 배경 표현을 효과적으로 학습할 수 있는가?
• RQ2 RGB 및 깊이 GAN의 예측을 융합할 경우 단일 모달리티 방법 대비 분할 강건성이 어떻게 향상되는가?
• RQ3 그림자, 조명 변화, 색상 캄oufl라주 상황에서 GAN에 의해 생성된 배경이 전통적인 배경 모델링 기법보다 얼마나 뛰어난 성능을 보이는가?
• RQ4 전경 객체가 거의 모든 프레임에 존재하는 부트스트랩 시나리오에서 이 방법의 성능은 어떠한가?
• RQ5 RGB 및 깊이 예측의 융합이 최신 기술 대비 더 정확하고 일관성 있는 전경 분할을 이끌어내는가?

주요 결과

• 제안된 ForeGAN_RGBD 방법은 그림자 카테고리에서 가장 높은 F-측정치(0.9271)를 기록하여 비교된 모든 방법들(예: cwisardH+)을 앞서며 뛰어난 성능을 보였다.
• 색상 캄oufl라주 카테고리에서는 F-측정치(0.8923)가 가장 높아, 전경 객체가 배경 색상과 유사한 경우에도 강건함을 입증하였다.
• 깊이 캄oufl라주 카테고리에서는 F-측정치(0.8891)가 가장 높아, 전경 객체가 배경과 깊이가 유사한 경우에도 뛰어난 성능을 보였다.
• 범위 외 카테고리에서는 F-측정치(0.8726)가 두 번째로 높아 극단적인 깊이 이격 상황에서도 강력하지만 약간 제한된 성능을 보였다.
• 부트스트랩 카테고리에서는 F-측정치가 가장 높아, 전경 객체가 거의 항상 존재하는 상황에서도 안정적인 배경 모델을 학습할 수 있음을 확인하였다.
• 그림 2 및 3의 정성적 결과는 ForeGAN_RGBD가 그림자 및 운동 블러가 있는 복잡한 장면에서 비교된 모든 방법들보다 더 정확하고 완전한 전경 마스크를 생성함을 보여주었다.