[논문 리뷰] Deep Matching and Validation Network -- An End-to-End Solution to Constrained Image Splicing Localization and Detection

Yue Wu, Wael AbdAlmageed외 1명|arXiv (Cornell University)|2017. 05. 27.

Digital Media Forensic Detection참고 문헌 34인용 수 11

한 줄 요약

이 논문은 쿼리 이미지와 잠재적 기부자 이미지를 활용하여 이미지 스플리싱을 동시에 검출하고 국소화하는 엔드 투 엔드 딥 러닝 프레임워크인 딥 매칭 및 검증 네트워크(DMVN)를 제안한다. 원시 픽셀 입력과 새로운 딥 디스크리트 매칭 레이어, 시각적 일관성 검증기 모듈을 사용함으로써, 수작업 특징 추출이나 후처리 과정 없이도 AUC 점수와 속도 면에서 최신 기술을 초월하며, 뛰어난 국소화 정확도를 달성한다.

ABSTRACT

Image splicing is a very common image manipulation technique that is sometimes used for malicious purposes. A splicing detec- tion and localization algorithm usually takes an input image and produces a binary decision indicating whether the input image has been manipulated, and also a segmentation mask that corre- sponds to the spliced region. Most existing splicing detection and localization pipelines suffer from two main shortcomings: 1) they use handcrafted features that are not robust against subsequent processing (e.g., compression), and 2) each stage of the pipeline is usually optimized independently. In this paper we extend the formulation of the underlying splicing problem to consider two input images, a query image and a potential donor image. Here the task is to estimate the probability that the donor image has been used to splice the query image, and obtain the splicing masks for both the query and donor images. We introduce a novel deep convolutional neural network architecture, called Deep Matching and Validation Network (DMVN), which simultaneously localizes and detects image splicing. The proposed approach does not depend on handcrafted features and uses raw input images to create deep learned representations. Furthermore, the DMVN is end-to-end op- timized to produce the probability estimates and the segmentation masks. Our extensive experiments demonstrate that this approach outperforms state-of-the-art splicing detection methods by a large margin in terms of both AUC score and speed.

연구 동기 및 목표

• 수작업 특징에 의존하여 후처리 변환에 취약한 전통적 스플리싱 검출 방법의 한계를 해결하기 위해.
• 기존 스플리싱 검출 시스템에서 단계 간 별도 최적화로 인한 파ip라인 비효율성을 극복하기 위해.
• 쿼리 이미지와 잠재적 기부자 이미지를 사용하여 제약 조건을 부여하는 방식으로 스플리싱 검출 문제를 재정의함으로써 검출 정확도와 국소화 정밀도를 향상시키기 위해.
• 스플리싱 검출과 세그먼테이션 마스크 예측을 동시에 최적화하는 엔드 투 엔드 학습 가능한 딥 신경망을 개발하기 위해.
• 수작업 특징 공학 및 후처리 단계에 대한 의존도를 줄여 실용적 구현 가능성을 높이며, 도전적인 변환 조건에서도 높은 성능를 유지하기 위해.

제안 방법

• 쿼리 이미지와 기부자 이미지의 특징 맵 간의 조밀한 대응 관계를 계산하여 잠재적 스플리시드 영역을 식별하는 새로운 딥 디스크리트 매칭 레이어를 제안한다.
• 매칭된 영역 간의 이미지 콘텐츠를 상호 검증하여 스플리싱 가능성과 가짜 경고를 줄이기 위해 시각적 일관성 검증기 모듈을 통합한다.
• 쿼리 및 기부자 이미지에 대해 스플리싱 확률과 세그먼테이션 마스크를 동시에 예측하는 다중 작업 학습 아키텍처를 설계한다.
• 수작업 특징이나 히우리스틱 후처리가 필요 없도록, 원시 이미지 입력을 사용하여 전체 네트워크를 엔드 투 엔드로 학습시킨다.
• 매칭 및 검증 단계 이전에 입력 이미지에서 계층적 깊은 표현을 생성하기 위해 CNN 기반 특징 추출기를 활용한다.
• 모델의 프리패스 성격을 활용하여, 레이블 애너테이션만으로 새로운 데이터셋에 대해 미세조정이 가능하게 하여 스플리싱 마스크 애너테이션 비용을 크게 절감한다.

실험 결과

연구 질문

• RQ1 수작업 특징에 의존하고 단계별 최적화가 별도로 이루어지는 전통적 스플리싱 검출 방법보다 엔드 투 엔드 딥 러닝 모델이 성능 면에서 뛰어나게 작용할 수 있는가?
• RQ2 압축 및 리샘플링과 같은 다양한 이미지 변환 조건 하에서 제안된 딥 디스크리트 매칭 레이어가 스플리시드 영역 식별에 얼마나 효과적인가?
• RQ3 매칭된 영역 간의 콘텐츠를 상호 검증함으로써 시각적 일관성 검증기가 검출 신뢰도를 얼마나 향상시키는가?
• RQ4 모델은 압축된 실생활 스플리싱 예제와 높은 클래스 유사도를 보이는 다양한 데이터셋 간에 일반화 가능한가?
• RQ5 완전한 마스크 애너테이션 없이도 검출 레이블만으로도 정확한 스플리싱 국소화를 달성할 수 있는가?

주요 결과

• DMVN은 쌍체 CASIA와 더 도전적인 NC2017 데이터셋 양쪽에서 최신 기술보다 높은 AUC 점수를 확보하여 뛰어난 검출 성능을 입증한다.
• NC2017 데이터셋에서 DMVN은 AUC 0.958을 기록하여 이어지는 최고 성능 모델의 0.892 점수를 크게 앞서며, 동일 평가 프로토콜 하에서 검증된다.
• 전통적인 블록 매칭 또는 키포인트 기반 접근 방식보다 이미지 처리 속도가 최대 10배 빠르며, 대규모 배포에 적합하다.
• 시각적 비교 결과, 특히 균일하거나 무늬가 있는 영역에서 기존 기준 모델 대비 더 완전하고 정확한 세그먼테이션 마스크를 생성한다.
• JPEG 압축 및 리샘플링과 같은 심각한 변환 조건에서도 전통적 방법이 자주 실패하는 상황에서도 모델은 강건성을 유지한다.
• 성능에 비해 CNN 인코더의 특징 맵 다운샘플링으로 인해 8×8 픽셀 이하의 스플리싱 객체는 탐지에 어려움을 겪는다.