[논문 리뷰] Detecting and Localizing Copy-Move and Image-Splicing Forgery

Aditya S. Pandey, Anshuman Mitra|arXiv (Cornell University)|2022. 02. 08.

Digital Media Forensic Detection인용 수 4

한 줄 요약

이 논문은 딥러닝과 이미지 변환 기법—특히 디지털余弦변환(DCT)과 오차 수준 분석(ELA)—을 조합한 하이브리드 접근법을 제안하여 복사-이동 및 이미지 결합 조작 위조를 탐지하고 국소화한다. DCT 기반 모델은 단순한 신경망을 사용하여 모든 클래스에서 가장 높은 F-스코어(0.87–0.90)를 기록했으며, 특히 흐림 처리 및 증강 조건에서도 CNN 기반 방법을 능가했다. 반면, ELA 입력을 사용하는 UNet 기반 모델은 마스크 국소화 정확도를 향상시켰다.

ABSTRACT

In the world of fake news and deepfakes, there have been an alarmingly large number of cases of images being tampered with and published in newspapers, used in court, and posted on social media for defamation purposes. Detecting these tampered images is an important task and one we try to tackle. In this paper, we focus on the methods to detect if an image has been tampered with using both Deep Learning and Image transformation methods and comparing the performances and robustness of each method. We then attempt to identify the tampered area of the image and predict the corresponding mask. Based on the results, suggestions and approaches are provided to achieve a more robust framework to detect and identify the forgeries.

연구 동기 및 목표

• 복사-이동 및 이미지 결합 조작과 같은 특정 위조 유형을 탐지하고 국소화하기 위한 강력한 프레임워크 개발.
• 딥러닝 모델과 전통적인 이미지 변환 방법(예: DCT, ELA) 간의 성능 및 내성 비교.
• 원본 이미지와 ELA 변환 이미지를 사용하는 다중 입력 UNet 아키텍처를 통해 위조 영역의 국소화 정확도 향상.
• 흐림, 기울임, 채널 감소와 같은 일반적인 후처리 조작에 대한 모델의 내성 평가.
• 실세계 이미지 조작 상황에서 가장 효과적인 전처리 기법과 딥러닝 아키텍처 조합 도출.

제안 방법

• 압축 불일치를 탐지하기 위해 오차 수준 분석(ELA)을 적용하여 재압축된 이미지와의 차이를 통해 위조 영역을 드러낸다.
• 주파수 도메인 특징을 추출하기 위해 디지털 코사인 변환(DCT)을 사용하여 위조를 시사하는 텍스처 및 구조적 이상을 식별한다.
• ELA 및 DCT 특징을 기반으로 배치 정규화를 적용한 단순 신경망과 CNN을 훈련하여 위조 대 비위조 이미지의 이진 분류를 수행한다.
• 두 가지 UNet 기반 분할 모델을 설계: 하나는 위조 이미지만을 사용하고, 다른 하나는 원본 이미지와 ELA 변환 이미지를 이중 입력 스트림으로 사용한다.
• 이중 입력 UNet에서 특징 추출 및 마스크 예측 품질 향상을 위해 ResNet101을 백본으로 활용한다.
• 학습 동역학 조정을 위해 손실 곡선과 수렴 모니터링을 활용하였으며, 검증 손실과 학습 시간을 주요 지표로 삼았다.

실험 결과

연구 질문

• RQ1 블러링 및 기울임과 같은 이미지 증강에 대해 DCT 기반 및 ELA 기반 전처리 방법의 성능 및 내성은 어떻게 비교되는가?
• RQ2 ELA를 딥러닝 모델과 조합하면 원본 이미지만 사용할 경우에 비해 위조 영역의 국소화 정확도가 향상되는가?
• RQ3 다양한 입력 모odal(원본 + ELA 이미지)을 포함함으로써 UNet 기반 분할 모델의 성능에 어떤 영향을 미치는가?
• RQ4 흐림과 같은 일반적인 후처리 기법이 다양한 위조 탐지 모델의 성능에 어느 정도 악영향을 미치는가?
• RQ5 어느 전처리 기법과 딥러닝 아키텍처 조합이 실제 세계의 이미지 조작 상황에서 가장 높은 F-스코어와 일반화 성능를 제공하는가?

주요 결과

• 단순한 신경망을 사용한 DCT 기반 모델이 테스트 세트에서 가장 높은 F-스코어 0.90을 기록했으며, 특히 블러링 및 증강 조건에서 모든 다른 방법을 능가했다.
• 배치 정규화를 적용한 CNN과 ELA를 조합한 모델은 가중 평균 F-스코어 0.65를 기록했지만, 블러링 조건에서 성능이 크게 떨어져 내성에 한계가 있음을 시사했다.
• ResNet101 백본을 사용하는 이중 입력 UNet 모델(원본 + ELA 이미지)은 단일 입력 버전에 비해 마스크 국소화 품질이 뚜렷이 향상되었으며, 시각적 점검을 통해 확인되었다.
• DCT 기반 모델은 블러링 조건에서도 강력한 성능(0.88의 F-스코어)을 유지했지만, CNN 기반 모델은 블러링 이후 위조 이미지를 탐지하지 못해 주파수 도메인 분석의 내성 우수성을 입증했다.
• 학습 시간과 수렴 속도 측면에서 CNN 기반 UNet(1에포크당 93초, 17에포크에서 수렴)은 ResNet 기반 UNet(1에포크당 161초, 완전 수렴하지 않음)보다 우수했지만, 후자는 더 높은 검증 손실을 기록했다.
• 이 연구는 DCT나 ELA를 전처리로 사용할 경우 모델의 내성이 크게 향상되며, 특히 단순하고 효율적인 모델(예: 기본 신경망)과 조합할 경우 특히 효과적임을 확인했다.