[논문 리뷰] Noiseprint: a CNN-based camera model fingerprint

Davide Cozzolino, Luisa Verdoliva|arXiv (Cornell University)|2018. 08. 25.

Digital Media Forensic Detection인용 수 12

한 줄 요약

이 논문은 동일한 또는 다른 카메라에서 촬영한 이미지 패치 쌍을 학습한 시AME이안 네트워크를 사용하여 장면 내용을 억제하고 카메라 고유의 아티팩트를 강조함으로써 카메라 모델 지문을 추출하는 CNN 기반 방법인 Noiseprint를 제안한다. 이 방법은 이미지 위조 탐지에서 최신 기술 수준의 성능을 달성하며, 위조 탐지에서 82%의 정확도를 기록하고, 스플라이싱, 세임 카빙, GAN 기반 인painting 등의 조작을 Noiseprint 히트맵에서 뚜렷하게 드러낸다.

ABSTRACT

Forensic analyses of digital images rely heavily on the traces of in-camera and out-camera processes left on the acquired images. Such traces represent a sort of camera fingerprint. If one is able to recover them, by suppressing the high-level scene content and other disturbances, a number of forensic tasks can be easily accomplished. A notable example is the PRNU pattern, which can be regarded as a device fingerprint, and has received great attention in multimedia forensics. In this paper we propose a method to extract a camera model fingerprint, called noiseprint, where the scene content is largely suppressed and model-related artifacts are enhanced. This is obtained by means of a Siamese network, which is trained with pairs of image patches coming from the same (label +1) or different (label -1) cameras. Although noiseprints can be used for a large variety of forensic tasks, here we focus on image forgery localization. Experiments on several datasets widespread in the forensic community show noiseprint-based methods to provide state-of-the-art performance.

연구 동기 및 목표

• 고급 장면 내용을 억제하고 카메라 내부 아티팩트를 강조함으로써 디지털 이미지에서 강력하고 카메라 모델 전용 지문을 추출하는 방법을 개발한다.
• 장면 내용 유출로 인한 낮은 신호 대 잡음 비율 등의 문제로 인해 제한되는 PRNU 기반 방법의 한계를 데이터 기반 딥 러닝 접근법으로 극복한다.
• 라벨이 부여된 학습 데이터나 카메라 모델에 대한 사전 지식이 필요 없는 완전히 비지도 학습 방법을 구축하여, 미리 보지 않은 기기에서도 구현 가능하게 한다.
• 조작 유도 인consistent한 부분을 Noiseprint 표현에서 뚜렷하게 드러내어 신뢰할 수 있는 이미지 위조 국소화를 가능하게 한다.
• 스플라이싱, 세임 카빙, GAN 기반 인painting을 포함한 다양한 위조 유형에 대해 이 방법의 효과성을 입증한다.

제안 방법

• 양성 쌍(동일한 카메라 모델에서 온 패치)과 부정성 쌍(다른 모델에서 온 패치)으로 구성된 이미지 패치 쌍을 기반으로 시AME이안 컨volutional 신경망을 학습한다.
• 네트워크는 동일한 카메라 모델에서 유래한 패치를 식별함으로써, 장면 내용을 암묵적으로 억제하고 모델 고유의 노이즈 패턴을 강조하는 것을 학습한다.
• 학습 후 네트워크는 동결되고, 임의의 입력 이미지에 대해 Noiseprint를 생성하는 특징 추출기로 사용된다. 이 Noiseprint는 카메라 모델 지문을 나타낸다.
• Noiseprint는 네트워크 내부의 특징 맵에서 유도되며, 카메라의 디지털 처리 체인과 관련된 아티팩트를 강조한다.
• 이 방법은 초기 학습 이후 완전히 비지도 방식으로 작동하여, 외부 감독이나 레이블이 부여된 데이터가 필요 없다.
• 위조 국소화는 Noiseprint 히트맵의 공간적 비일관성 분석을 통해 수행되며, 조작 경계는 뚜렷한 이상 현상으로 나타난다.

실험 결과

연구 질문

• RQ1 딥 러닝 기반 접근법이 장면 내용을 억제하면서도 장치 고유의 아티팩트를 강조하는 카메라 모델 지문을 효과적으로 추출할 수 있는가?
• RQ2 이러한 지문이 특히 풍부한 무늬나 높은 채도 조건에서의 위조 탐지에서 전통적인 PRNU를 능가할 수 있는가?
• RQ3 세임 카빙이나 GAN 기반 인painting과 같은 미세한 조작을 Noiseprint가 어느 정도 드러낼 수 있는가?
• RQ4 학습 데이터에 포함되지 않은 새로운 카메라 모델에 대해 이 방법이 얼마나 잘 일반화되는가?
• RQ5 개별 기기 식별이 안정적이지 않더라도, Noiseprint를 사용해 카메라 모델을 식별할 수 있는가?

주요 결과

• Noiseprint는 벤치마크 데이터셋에서 이미지 위조 국소화에 82%의 정확도를 달성하여, PRNU 기반 방법의 77%를 초월한다.
• 스플라이싱, 세임 카빙, GAN 기반 인painting에 대해 Noiseprint 히트맵에서 조작 흔적이 뚜렷하게 드러나 인간 관찰자가 시각적으로 탐지할 수 있도록 한다.
• 카메라 모델 식별에 대해 Noiseprint는 62%의 정확도를 기록하여, 기기 수준의 유일성에 의존하지 않고도 모델 고유의 특성을 캡처하고 있음을 시사한다.
• PRNU보다 위조 탐지에서 뛰어난 성능을 보이며, 특히 PRNU 성능이 내용 유출로 인해 저하되는 무늬나 채도가 높은 영역에서도 유리하다.
• 비표준 센서와 처리 체인을 가진 위성 이미지의 경우에도 Noiseprint는 높은 공간 정확도로 스플라이싱 조작을 성공적으로 강조한다.
• 고급 GAN 기반 인painting과 같은 다양한 위조 유형에 대해 이 방법은 효과적이며, 복구된 영역에서 뚜렷한 텍스처 변화를 보여주는 Noiseprint 히트맵을 생성한다.