[논문 리뷰] Universal Image Manipulation Detection using Deep Siamese Convolutional Neural Network

Aniruddha Mazumdar, Jaya Singh외 2명|arXiv (Cornell University)|2018. 08. 20.

Digital Media Forensic Detection참고 문헌 17인용 수 18

한 줄 요약

이 논문은 동일한 방식으로 처리되었는지 또는 다른 방식으로 처리되었는지 비교함으로써 다양한 이미지 조작 작업을 탐지하고 구분하는 딥 시앙세이 컨volution 네트워크(Siamese CNN)를 제안한다. 기존의 유니버설 포렌식 방법들과 달리, 이 방법은 학습 중에 알려진 조작 유형이 필요로 하지 않으며, AWGN에서 96.61%의 정확도와 감마 보정에서 95.24%의 정확도로 새로운 조작에 대해 강력한 제로샷 일반화 능력을 보여준다.

ABSTRACT

Detection of different types of image editing operations carried out on an image is an important problem in image forensics. It gives the information about the processing history of an image, and also can expose forgeries present in an image. There have been few methods proposed to detect different types of image editing operations in a single framework. However, all the operations have to be known a priori in the training phase. But, in real-forensics scenarios it may not be possible to know about the editing operations carried out on an image. To solve this problem, we propose a novel deep learning-based method which can differentiate between different types of image editing operations. The proposed method classifies image patches in a pair-wise fashion as either similarly or differently processed using a deep siamese neural network. Once the network learns feature that can discriminate between different image editing operations, it can differentiate between different image editing operations not present in the training stage. The experimental results show the efficacy of the proposed method in detecting/discriminating different image editing operations.

연구 동기 및 목표

• 기존의 유니버설 이미지 포렌식 방법들이 학습 중에 모든 조작 유형을 사전에 알고 있어야 하는 한계를 해결하기 위해.
• 학습 중에 볼 수 없었던 조작을 탐지하고 구분할 수 있는 방법을 개발하기 위해.
• 고정된 클래스 분류가 아니라 처리의 유사성/차이에 대한 특징을 학습함으로써 이미지 포렌식의 일반화 능력을 향상시키기 위해.
• 다양한 편집이 순차적으로 적용된 복잡한 다중 조작 위조를 탐지할 수 있도록 하기 위해.

제안 방법

• 이 방법은 두 개의 이미지 패치를 입력으로 받아 동일하게 처리되었는지 여부를 나타내는 유사도 점수를 출력하는 시앙세이 CNN 아키텍처를 사용한다.
• 네트워크는 동일한 조작 유형에서 온 동일한 패어(이상한 패어, IP)와 다른 조작 유형에서 온 다른 패어(다른 패어, DP)로 구성된 이미지 패치 쌍을 기반으로 학습된다.
• 시앙세이 네트워크는 가우시안 블러링, 메디안 필터링, 리샘플링, 대trast 강화와 같은 다양한 이미지 편집 작업이 유도하는 미세한 통계적 차이를 포착하는 특징을 학습한다.
• 유사한 패치의 임베딩을 특징 공간에서 더 가깝게, 비유사한 패치의 임베딩을 더 멀리 떨어지게 하기 위해 대trast 손실 함수를 사용하여 모델을 학습한다.
• 학습 후, 네트워크는 학습 데이터에 포함되지 않은 조작 유형에 대해서도 새로운 이미지 패치를 동일하게 처리되었는지 또는 다르게 처리되었는지 분류할 수 있다.
• 이 방법은 시앙세이 네트워크가 비교를 위한 분류 가능한 특징을 학습할 수 있는 본질적 능력을 활용하여, 훈련 중에 볼 수 없었던 새로운 조작을 제로샷으로 탐지할 수 있다.

실험 결과

연구 질문

• RQ1 기존의 모든 가능한 조작 유형을 사전에 알지 못한 채, 딥 러닝 모델이 다양한 이미지 조작 작업을 탐지하고 구분할 수 있는가?
• RQ2 시앙세이 CNN은 훈련 세트에 포함되지 않은 이미지 조작을 얼마나 잘 탐지할 수 있는가?
• RQ3 특징 유사도 기반의 쌍 비교 접근 방식이 기존의 분류 기반 유니버설 포렌식 방법보다 우수한가?
• RQ4 알 수 없거나 훈련 중에 볼 수 없었던 편집 단계를 포함한 복잡한 다중 조작 위조를 얼마나 잘 탐지할 수 있는가?
• RQ5 훈련 중에 사용되지 않은 미세한 조작, 예를 들어 AWGN과 감마 보정을 탐지할 때 모델이 높은 정확도를 유지할 수 있는가?

주요 결과

• 제안된 시앙세이 CNN은 원본 이미지 패치 분류에서 99.35%의 정확도, 가우시안 블러링에서 99.51%, 메디안 필터링에서 99.64%, 리샘플링에서 99.26%의 정확도를 기록하여 네 가지 클래스 중 세 가지에서 바야르와 스탬의 방법보다 뛰어난 성능을 보였다.
• 학습 데이터에 포함되지 않은 조작에 대해 효과적으로 일반화되었으며, AWGN(σ=2)에서 96.61%의 정확도와 감마 보정(γ=1.5)에서 95.24%의 정확도를 기록하여 강력한 제로샷 탐지 능력을 입증했다.
• 메디안 필터링(99.64% 대 98.85%)과 리샘플링(99.26% 대 99.13%) 작업에서 기존의 최신 기술 기반 CNN 방법보다 뚜렷이 뛰어난 성능을 보였다.
• 고정된 클래스 레이블 없이 패치를 비교할 수 있는 시앙세이 네트워크의 능력 덕분에, 훈련 중에 볼 수 없었던 새로운 조작을 탐지할 수 있으며, 이는 기존의 유니버설 방법에 비해 핵심적인 이점이다.
• 결과는 고정된 조작 유형 분류가 아니라 처리의 유사성 여부를 학습하는 것이 실제 포렌식 시나리오에서 더 나은 일반화를 가능하게 한다는 것을 확인한다.
• 학습되지 않은 조작에 대한 성능 결과는 학습된 특징들이 이미지 처리의 보편적인 흔적을 포착하고 있음을 보여주며, 다양한 변화하는 편집 기법에 대해 강력한 내재성을 지닌다는 것을 시사한다.