[논문 리뷰] Image Splicing Detection, Localization and Attribution via JPEG Primary Quantization Matrix Estimation and Clustering

Yakun Niu, Benedetta Tondi외 3명|arXiv (Cornell University)|2021. 02. 02.

Digital Media Forensic Detection참고 문헌 38인용 수 5

한 줄 요약

이 논문은 이중 JPEG 압축 영역의 주요 양자화 행렬(Q1)을 추정하고 Q1 유사도 기반으로 블록을 군집화함으로써 이미지 스플리싱 위조를 종단간으로 탐지하고 국소화하며 기여 원천을 할당하는 방법을 제안한다. 비정렬 압축과 다양한 품질 계수 조건에서도 서로 다른 기여 원천 이미지에서 유래한 스플리싱 영역을 구분할 수 있으며, 기반 방법 대비 DJPEG 대 DJPEG 시나리오에서 우수한 성능을 보이며 기여 원천 할당 기능을 제공한다.

ABSTRACT

Detection of inconsistencies of double JPEG artefacts across different image regions is often used to detect local image manipulations, like image splicing, and to localize them. In this paper, we move one step further, proposing an end-to-end system that, in addition to detecting and localizing spliced regions, can also distinguish regions coming from different donor images. We assume that both the spliced regions and the background image have undergone a double JPEG compression, and use a local estimate of the primary quantization matrix to distinguish between spliced regions taken from different sources. To do so, we cluster the image blocks according to the estimated primary quantization matrix and refine the result by means of morphological reconstruction. The proposed method can work in a wide variety of settings including aligned and non-aligned double JPEG compression, and regardless of whether the second compression is stronger or weaker than the first one. We validated the proposed approach by means of extensive experiments showing its superior performance with respect to baseline methods working in similar conditions.

연구 동기 및 목표

• 다수의 기여 원천 이미지에서 유래한 스플리싱 영역을 구분할 수 없는 기존 방법의 격차를 보완한다.
• 실제적인 DJPEG 대 DJPEG 압축 환경에서 배경 및 스플리싱 영역이 모두 이중 압축된 경우에도 이미지 스플리싱 탐지 및 국소화를 가능하게 한다.
• 스플리싱 영역의 첫 번째 압축 이력에 기반해 서로 다른 기여 원천을 식별함으로써, 새로운 포렌식 과제인 기여 원천 할당을 도입한다.
• 다양한 압축 품질 계수와 정렬 조건(정렬 또는 비정렬 이중 압축)에 대해 강건성을 확보한다.
• Q1 추정, 군집 수 예측, 스펙트럴 군집화 및 형태학적 정밀 조정을 통합한 종단간 시스템을 개발하여 정확한 위조 탐지 및 기여 원천 할당을 달성한다.

제안 방법

• 논문 [6]의 CNN 기반 추정기로부터 각 8×8 블록에 대해 주요 양자화 행렬(Q1)을 추정함으로써, 작은 이미지 패치에서도 정확한 Q1 복원이 가능해진다.
• 각 블록을 추정된 Q1 값의 특징 벡터로 표현하고, 유사한 Q1 행렬을 가진 블록을 스펙트럴 군집화(SC)로 군집화한다.
• 추정된 Q1 특징 벡터로부터 군집 수(즉, 기여 원천 이미지 수)를 예측하기 위해 전용 CNN을 학습시켜 위조 복잡도의 자동 탐지 기능을 구현한다.
• 가장 큰 군집을 배경으로 할당하고, 나머지 모든 군집을 서로 다른 기여 원천 이미지에 해당하는 스플리싱 영역로 간주한다.
• 형태학적 재구성 기법을 사용해 위조 지도를 정밀 조정하여 검출된 영역의 공간적 일관성과 매끄러움을 강화한다.
• 정렬 및 비정렬 이중 압축 모두를 지원하며, 첫 번째 압축보다 두 번째 압축이 더 강하거나 더 약한 경우도 처리할 수 있다.

Figure 1: Image tampering setup considered in this paper.

실험 결과

연구 질문

• RQ1 배경 영역와 스플리싱 영역가 모두 이중 JPEG 압축을 겪었을 때, 이중 JPEG 압축 이미지에서 스플리싱을 탐지할 수 있는가?
• RQ2 스플리싱 영역를 그들의 주요 양자화 행렬(Q1) 차이에 기반해 정확히 국소화하고 서로 다른 기여 원천 이미지로 할당할 수 있는가?
• RQ3 다양한 압축 품질 계수(QF1 > QF2 또는 QF1 < QF2) 및 정렬 조건에서 이 방법의 성능는 어떠한가?
• RQ4 시각적 아웃라이어나 이상 탐지에 의존하지 않고도, 서로 다른 원천에서 유래한 다수의 스플리싱 영역를 구분할 수 있는가?
• RQ5 Q1 추정과 스펙트럴 군집화, 형태학적 정밀 조정의 통합이 탐지 및 기여 원천 할당 정확도를 얼마나 향상시키는가?

주요 결과

• 제안된 방법은 DJPEG 대 DJPEG 조건에서 스플리싱 영역 탐지 및 국소화 성능이 기반 방법보다 뛰어나다.
• 추정된 주요 양자화 행렬(Q1) 기반 군집화를 통해 스플리싱 영역를 서로 다른 기여 원천 이미지로 성공적으로 할당함으로써 새로운 포렌식 기능을 실현한다.
• 정렬 또는 비정렬 이중 압축 환경에서 모두 강건성을 유지하며, 두 번째 압축이 첫 번째 압축보다 강한 경우도 포함해 성능이 안정하다.
• CNN 기반 Q1 추정기는 작은 이미지 블록에서도 정확한 추정이 가능하여 신뢰할 수 있는 군집화의 기초를 마련한다.
• 형태학적 재구성 기법은 위조 지도의 공간적 일관성과 매끄러움을 크게 향상시켜 임의의 경계를 줄인다.
• 시각적 경계 아웃라이어가 없는 환경에서 MantraNet과 같은 이상 탐지 기반 접근법보다 성능이 뛰어나, 전용 Q1 기반 분석의 우수성을 입증한다.

Figure 2: Architecture of the proposed method for splicing detection, localization and attribution of DJPEG images based on $Q_{1}$ matrix inconsistencies.