[논문 리뷰] Deep Video Inpainting Detection

Peng Zhou, Ning Yu외 4명|arXiv (Cornell University)|2021. 01. 26.

Generative Adversarial Networks and Image Synthesis참고 문헌 44인용 수 9

한 줄 요약

이 논문은 RGB 및 오차 수준 분석(ELA) 프레임에서 다중모달 특징을 활용하고, 4방향 국소 주의 모듈 및 ConvLSTM 기반의 시공간 모델링을 통합한 새로운 엔드 투 엔드 딥 러닝 프레임워크인 VIDNet을 제안한다. VIDNet은 도메인 내 및 도메인 간 영상 인painting 탐지에서 최신 기술 수준(SOTA) 성능을 달성하며, 압축 및 노이즈 왜곡에 대한 강건성과 뛰어난 일반화 능력을 보여준다.

ABSTRACT

This paper studies video inpainting detection, which localizes an inpainted region in a video both spatially and temporally. In particular, we introduce VIDNet, Video Inpainting Detection Network, which contains a two-stream encoder-decoder architecture with attention module. To reveal artifacts encoded in compression, VIDNet additionally takes in Error Level Analysis frames to augment RGB frames, producing multimodal features at different levels with an encoder. Exploring spatial and temporal relationships, these features are further decoded by a Convolutional LSTM to predict masks of inpainted regions. In addition, when detecting whether a pixel is inpainted or not, we present a quad-directional local attention module that borrows information from its surrounding pixels from four directions. Extensive experiments are conducted to validate our approach. We demonstrate, among other things, that VIDNet not only outperforms by clear margins alternative inpainting detection methods but also generalizes well on novel videos that are unseen during training.

연구 동기 및 목표

• 악성 영상 인painting 탐지를 위한 필수적인 필요성 해결: 이는 오해를 조장하고 증거를 위조하는 데 악용될 수 있다.
• 이전 연구가 주로 이미지 수준의 조작 탐지에 집중한 바 있음을 감안해, 영상 인painting 탐지에 대한 첫 번째 학습 기반 프레임워크 개발.
• 압축 잔여물과 잔여 무결성의 특징을 드러내기 위해 RGB 및 ELA 특징에서 다중모달 신호를 활용해 탐지의 강건성 향상.
• 4방향 국소 주의 모듈과 ConvLSTM 디코더를 통해 공간적 및 시간적 의존성을 명시적으로 모델링하여 인paint된 영역의 정확한 시공간 정위치 탐지.

제안 방법

• VIDNet는 RGB 및 ELA 프레임을 모두 처리하는 이중 스트림 인코더-디코더 아키텍처를 사용하여 다중 척도에서 다중모달 특징을 추출한다.
• 인코더는 RGB 프레임에서 특징을 추출하기 위해 사전학습된 VGG 네트워크를 사용하며, ELA 프레임은 압축 불일치와 잔여 무결성을 드러내는 데 사용된다.
• 최종 RGB 특징 맵에 4방향 국소 주의(QDLA) 모듈을 적용하여 네 방향에서 인접한 픽셀에 주의를 기울여 공간적 맥락 모델링을 향상시킨다.
• 다양한 척도에서 유도된 다중모달 특징은 융합되어 4층의 컨volutional LSTM 디코더에 입력되며, 이는 영상 프레임 간의 시간적 동역학을 모델링한다.
• 더러운 층에서의 스킵 연결을 통해 공간적 세부 정보를 유지하고 마스크 예측 정확도를 향상시킨다.
• 전체 네트워크는 이진 교차 엔트로피 손실을 사용하여 백프로파게이션을 통해 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 RGB 및 ELA 특징을 융합한 딥 러닝 프레임워크는 영상의 인paint된 영역을 효과적으로 탐지할 수 있는가?
• RQ2 표준 주의 또는 전역 풀링 대비 4방향 주의를 통해 공간 맥락을 모델링하면 탐지 성능에 어떤 영향을 미치는가?
• RQ3 학습 중에 볼 수 없었던 인paint 방법 및 데이터셋에 대해 영상 인paint 탐지 모델의 일반화 능력은 어느 정도인가?
• RQ4 일반적인 영상 왜곡, 예를 들어 가우시안 노이즈 및 JPEG 압축에 대해 제안된 방법의 강건성은 어떠한가?
• RQ5 ConvLSTM을 통한 시간 모델링을 통합하면 더 일관되고 정확한 시간적 마스크 예측이 가능한가?

주요 결과

• Free-form Video Inpainting(FVI) 데이터셋에서 VIDNet은 평균 IoU 0.257과 F1 스코어 0.367을 기록하며, 다음으로 우수한 성능을 보인 GSR-Net 대비 F1 스코어에서 70% 향상된 성능을 보였다.
• DAVIS 2016 데이터셋에서 VIDNet은 모든 경쟁 기법을 명확한 격차로 앞서며, 뛰어난 탐지 정확도와 강건성을 입증했다.
• 모델은 도메인 외 인paint 영상에 대해서도 잘 일반화되어 있으며, 훈련 데이터와 다른 인paint 방법으로 생성된 영상에 대해서도 높은 성능을 유지했다.
• 훈련 중에 노이즈 및 JPEG 증강을 추가함으로써 왜곡에 대한 강건성이 향상되었으며, SNR 20 dB 및 JPEG 품질 70 조건에서도 VIDNet은 높은 성능을 유지했다.
• 제거 실험 결과, RGB 및 ELA 특징 융합, QDLA 모듈, ConvLSTM의 조합이 최고의 성능를 내며 각 구성 요소의 기여도를 입증했다.
• 정성적 결과에서는 GSR-Net과 같은 프레임 단위 방법에 비해 VIDNet이 더 시간적으로 일관되고 공간적으로 정확한 마스크를 생성하는 것으로 나타났다. 이는 프레임 간 번쩍임 현상과 불일치 문제를 악화시키지 않는다는 것을 의미한다.