[논문 리뷰] SpliceRadar: A Learned Method For Blind Image Forensics

Aurobrata Ghosh, Zheng Zhong외 2명|arXiv (Cornell University)|2019. 06. 27.

Digital Media Forensic Detection참고 문헌 28인용 수 12

한 줄 요약

SpliceRadar는 원본 카메라 모델에 대한 사전 지식 없이 저수준 카메라 모델 특징을 학습하는 딥러닝 기반의 블라인드 이미지 위조 지역 식별 방법을 제안한다. 제약 조건이 부여된 CNN을 사용해 고역통과 '풍부한' 필터를 학습하고, 상호정보 기반 정규화를 통해 의미적 콘텐츠를 억제함으로써, 세 가지 벤치마크 데이터셋에서 최신 기술 대비 최대 4% 향상된 성능을 달성한다.

ABSTRACT

Detection and localization of image manipulations like splices are gaining in importance with the easy accessibility of image editing softwares. While detection generates a verdict for an image it provides no insight into the manipulation. Localization helps explain a positive detection by identifying the pixels of the image which have been tampered. We propose a deep learning based method for splice localization without prior knowledge of a test image's camera-model. It comprises a novel approach for learning rich filters and for suppressing image-edges. Additionally, we train our model on a surrogate task of camera model identification, which allows us to leverage large and widely available, unmanipulated, camera-tagged image databases. During inference, we assume that the spliced and host regions come from different camera-models and we segment these regions using a Gaussian-mixture model. Experiments on three test databases demonstrate results on par with and above the state-of-the-art and a good generalization ability to unknown datasets.

연구 동기 및 목표

• 원본 카메라 모델에 대한 사전 지식 없이 이미지 스플라이스 지역을 식별하는 과제를 해결한다.
• 기존 딥러닝 포렌식 기법이 새로운 데이터셋에 대해 일반화 능력에 한계를 가진다는 문제를 해결한다.
• 고수준 의미적 콘텐츠를 억제하면서도 저수준 카메라 고유 특징을 학습하는 방법을 개발한다.
• 대규모이고 수정되지 않은, 카메라 태그가 부여된 이미지 데이터베이스를 활용해 원본 카메라 식별을 서rogate 작업으로 삼아 사전 훈련한다.
• 학습된 카메라 모델 간 차이를 기반으로 영역을 분할하는 가우시안 혼합 모델을 통해 강인한 위조 지역 식별을 가능하게 한다.

제안 방법

• 이미지에서 잔여 저수준 특징을 추출할 수 있도록 제약 조건이 부여된 컨volutional 네트워크를 사용해 고역통과 '풍부한' 필터를 학습한다.
• 훈련 중 의미적 에지와 이미지 고유의 콘텐츠를 억제하기 위해 상호정보 기반의 새로운 확률적 정규화 기법을 적용한다.
• 원본 카메라 식별을 서rogate 작업으로 삼아, 수정되지 않은, 다양한 카메라로 태그가 부여된 대규모이고 다양한 이미지 데이터셋에서 네트워크를 사전 훈련한다.
• 추론 단계에서 이미지 전반에 걸쳐 저수준 특징을 계산하고, 학습된 카메라 모델 서명에 기반해 영역을 분할한다.
• 학습된 특징을 사용해 위조 영역일 가능성이 높은 지역을 나타내는 히트맵을 생성하며, 임계값 설정과 이진화를 통한 후처리를 수행한다.
• 특징 추출의 스텝 크기를 48 픽셀로 최적화하여 계산 비용과 탐지 정확도 사이의 균형을 이룬다.

실험 결과

연구 질문

• RQ1 딥러닝 모델이 원본 카메라에 대한 사전 지식 없이 의미적 콘텐츠나 이미지 의미를 기반으로 하지 않고 저수준 카메라 고유 특징을 학습할 수 있는가?
• RQ2 상호정보 기반 정규화는 저수준 포렌식 서명을 유지하면서 의미적 콘텐츠를 얼마나 효과적으로 억제하는가?
• RQ3 서rogate 작업(카메라 식별)으로 사전 훈련된 모델이 새로운 위조 데이터셋에 얼마나 잘 일반화되는가?
• RQ4 제안된 방법이 다양한 테스트 데이터셋에서 탐지 및 지역 식별 정확도 측면에서 최신 기술을 초월하는가?
• RQ5 여러 최신 기술이 실패하는 어려운 예제를 다룰 때 이 방법의 한계는 무엇인가?

주요 결과

• DSO-1에서 SpliceRadar는 F1 스코어 0.69를 기록하여 EXIF-SC(0.57)와 SB(0.66)를 능가하며, 최신 기술 대비 4% 향상된 성능을 보였다.
• NC16에서 SpliceRadar는 F1 스코어 0.40을 기록하여 EXIF-SC(0.38)와 SB(0.37)를 초월했으며, 일관된 향상을 보였다.
• NC17-dev1에서 SpliceRadar는 최고 성능을 기록한 SB와 동일한 F1 스코어 0.42를 기록하여 도전적인 데이터에서 강력한 성능을 입증했다.
• DSO-1에서 SpliceRadar는 ROC-AUC 스코어 0.91을 기록하여 모든 임계값에서 뛰어난 전반적 성능을 보였다.
• 훈련 데이터와 테스트 데이터셋 간 관련성이 없음에도 불구하고, 세 가지 벤치마크 전반에서 높은 성능 유지로 강력한 일반화 능력을 보였다.
• 정성적 결과 분석에서 SpliceRadar는 특히 복잡하거나 미세한 스플라이스 사례에서 SB와 EXIF-SC보다 더 정확하고 일관성 있는 히트맵을 생성했다.