[논문 리뷰] Privacy Protection in Street-View Panoramas using Depth and Multi-View Imagery

Ries Uittenbogaard, Clint Sebastian외 4명|arXiv (Cornell University)|2019. 03. 27.

Generative Adversarial Networks and Image Synthesis참고 문헌 50인용 수 54

한 줄 요약

본 논문은 블러링의 대안으로 보도 경관 파노라마에서 움직이는 객체를 자동으로 제거하고 다중 시점 정보를 사용해 배경을 인페인트하는 프레임워크를 제시한다. 깊이 일관성 있는 움직 객체 분할과 다중 시점 인페인팅 GAN을 결합하고 1000개의 이미지 데이터셋에서 평가한다.

ABSTRACT

The current paradigm in privacy protection in street-view images is to detect and blur sensitive information. In this paper, we propose a framework that is an alternative to blurring, which automatically removes and inpaints moving objects (e.g. pedestrians, vehicles) in street-view imagery. We propose a novel moving object segmentation algorithm exploiting consistencies in depth across multiple street-view images that are later combined with the results of a segmentation network. The detected moving objects are removed and inpainted with information from other views, to obtain a realistic output image such that the moving object is not visible anymore. We evaluate our results on a dataset of 1000 images to obtain a peak noise-to-signal ratio (PSNR) and L1 loss of 27.2 dB and 2.5%, respectively. To ensure the subjective quality, To assess overall quality, we also report the results of a survey conducted on 35 professionals, asked to visually inspect the images whether object removal and inpainting had taken place. The inpainting dataset will be made publicly available for scientific benchmarking purposes at https://research.cyclomedia.com

연구 동기 및 목표

• 블러링을 넘어서 거리뷰 이미지에서 움직이는 객체를 제거하고 배경을 인페인팅하여 프라이버시를 보호하도록 동기를 부여한다.
• 여러 시점 간의 깊이 일관성을 활용하는 움직이는 객체 분할 방법을 개발한다.
• 다른 시점의 정보를 이용해 사실적인 완성을 생성하는 다중 시점 인페인팅 GAN을 설계한다.
• 정량적으로 (PSNR, L1 손실) 평가하고 전문가 설문을 통해 질적으로 평가한다.
• 벤치마킹을 위한 공개 인페인팅 데이터세트를 제공한다.

제안 방법

• FC-VGGNet 기반의 움직이는 객체 분할을 깊이 보강 재투영으로 인접 프레임 간의 움직임 영역을 탐지하는 방법과 결합한다.
• 현재 이미지와 이웃 보기에서 재투영된 특징 간의 고수준 특징을 비교하여 움직이는 객체 점수를 계산하고, 마스킹된 점수에 임계값을 적용해 움직이는 객체를 분류한다.
• 탐지된 움직이는 영역을 제거하고 구멍이 채워진 이미지, 움직이는 객체 마스크, 다른 시점으로부터의 재투영 콘텐츠를 입력으로 받는 다중 시점 GAN을 사용해 인페인팅한다.
• 초해상도 16채널 입력(I_t, B_t^h, I_hat_t'→t)으로 GAN을 학습하고, 글로벌 및 로컬의 두 개의 판별기와 개선된 WGAN-GP 목표 함수, 공간적으로 가중된 L1 손실을 사용한다.
• Ground truth에 대한 PSNR, L1 손실로 평가하고 전문가 설문을 통해 인식된 현실감과 프라이버시 보호를 측정한다.

실험 결과

연구 질문

• RQ1 스트리트 뷰 파노라마에서 깊이 일관성 있는 다중 시점 정보를 사용해 움직이는 객체를 신뢰성 있게 탐지할 수 있는가?
• RQ2 다중 시점 인페인팅이 단일 시점 또는 맥락 기반 인페인팅보다 더 사실적이고 프라이버시에 안전한 완성을 제공하는가?
• RQ3 다중 시점 인페인팅을 통해 움직이는 객체를 제거할 때 얻는 정량적 이점(PSNR, L1 손실)과 지각 품질은 어떠한가?
• RQ4 오픈 인페인팅 데이터세트가 다중 시점 인페인팅 접근법의 벤치마킹에 충분한가?

주요 결과

• 1000개 이미지 테스트 세트에서 인페인팅 품질에 대해 PSNR 27.2 dB 및 L1 손실 2.5%를 달성.
• 움직이는 객체 분할은 구성에 따라 평균 IoU가 약 0.58-0.80로 나타났고, FC-VGGNet 인코더 피처(레이어 블록 4)가 최상의 움직이는 객체 식별력을 제공했다.
• 다중 시점 가이던스 인페인팅으로 시각적으로 그럴듯한 결과가 나왔으며, 35명의 전문가를 대상으로 한 사용자 연구에서 일부 케이스에서 다양한 인공물(아티팩트)이 확인되었으나 프라이버시 보호의 효과를 보여주고 인페인팅의 주의점도 제시했다.
• 제안된 방법은 객체의 신원을 제거하는 동시에 블러링 아티팩트를 줄여 프라이버시를 강화하고 배경의 현실감을 유지해 상업적 적용 가능성을 높인다.