[논문 리뷰] TruFor: Leveraging all-round clues for trustworthy image forgery detection and localization

Fabrizio Guillaro, Davide Cozzolino외 3명|arXiv (Cornell University)|2022. 12. 21.

Digital Media Forensic Detection인용 수 5

한 줄 요약

TruFor는 RGB 이미지와 자기지도 학습을 통해 얻은 소음 민감도가 높은 지문인 Noiseprint++를 융합하여 다양한 척도에서 이질성을 탐지하고 국소화하는 새로운 포렌식 프레임워크이다. 이는 검출 및 국소화에서 최신 기술 수준의 성능을 달성하며, 신뢰도 신뢰도 맵을 통해 거짓 경고를 크게 줄여, 일곱 가지 벤치마크에서 평균 25%의 정확도 향상과 최대 80%의 거짓 경고율 감소를 기록하여 기존 방법을 능가한다.

ABSTRACT

In this paper we present TruFor, a forensic framework that can be applied to a large variety of image manipulation methods, from classic cheapfakes to more recent manipulations based on deep learning. We rely on the extraction of both high-level and low-level traces through a transformer-based fusion architecture that combines the RGB image and a learned noise-sensitive fingerprint. The latter learns to embed the artifacts related to the camera internal and external processing by training only on real data in a self-supervised manner. Forgeries are detected as deviations from the expected regular pattern that characterizes each pristine image. Looking for anomalies makes the approach able to robustly detect a variety of local manipulations, ensuring generalization. In addition to a pixel-level localization map and a whole-image integrity score, our approach outputs a reliability map that highlights areas where localization predictions may be error-prone. This is particularly important in forensic applications in order to reduce false alarms and allow for a large scale analysis. Extensive experiments on several datasets show that our method is able to reliably detect and localize both cheapfakes and deepfakes manipulations outperforming state-of-the-art works. Code is publicly available at https://grip-unina.github.io/TruFor/

연구 동기 및 목표

• 기존 위조 탐지 방법의 한계, 특히 실제 환경 배포 시 일반화 능력 부족과 높은 거짓 경고율을 해결하기 위해.
• 기존 포렌식 흔적을 지우는 이미지 라우닝(예: 크기 조정, 재압축)에 대한 강건성을 향상시키기 위해.
• 전역 검출과 정밀한 국소화를 동시에 수행할 수 있는 통합 프레임워크를 제공하고, 신뢰도에 대한 명시적 불확실성 추정을 포함하기 위해.
• 대규모 포렌식 분석에서 거짓 경고를 줄이기 위해 신뢰도 맵을 도입하여 신뢰할 수 없는 국소화 예측을 강조하기 위해.
• 통합된 이상 탐지 기반 접근 방식을 통해 고전적인 'cheapfakes'와 고도로 발전한 딥페이크 위조를 효과적으로 탐지할 수 있도록 하기 위해.

제안 방법

• TruFor는 입력 RGB 이미지와 자기지도 학습을 통해 얻은 소음 민감도 지문인 Noiseprint++를 융합하는 트랜스포머 기반 융합 아키텍처를 사용하여 이질성을 탐지한다.
• Noiseprint++는 자기지도 방식으로 진짜 이미지만을 사용해 학습되어 카메라 내부 및 외부 처리에서 유도되는 아티팩트를 학습함으로써, 라우닝에 대한 강건성을 향상시킨다.
• 융합 표현에서 기대되는 규칙적인 패턴과의 편차를 식별함으로써 이상 탐지 작업을 수행하며, 이는 전역적 및 국소적 위조 모두 탐지 가능하게 한다.
• 세 가지 출력을 생성한다: 픽셀 수준의 이상 국소화 맵, 신뢰도 가중 풀링을 통해 유도된 전역 무결성 점수, 그리고 신뢰할 수 없는 영역를 표시하기 위한 신뢰도 신뢰도 맵.
• 신뢰도 맵은 국소화 맵과 함께 공동으로 학습되며, 특히 균일하거나 무늬가 없는 영역에서 예측의 신뢰도를 낮춰 거짓 경고를 억제하는 데 기여한다.
• 신뢰도 가중 국소화 맵에서 유도된 임계값 적용된 무결성 점수를 사용해 검출을 수행함으로써, 최대 풀링 기반 기준보다 더 강건한 성능을 달성한다.

실험 결과

연구 질문

• RQ1 실제 라우닝 조건에서 다양한 이미지 위조(고전적 및 딥페이크 위조 포함)를 효과적으로 탐지하고 국소화할 수 있는 통합 포렌식 프레임워크의 성능은 어떠한가?
• RQ2 신뢰도 맵을 검출 파이프라인에 통합함으로써 대규모 포렌식 분석에서 거짓 경고를 줄이고 신뢰성을 향상시킬 수 있는가?
• RQ3 저수준의 소음 아티팩트와 고수준의 의미적 특징을 융합함으로써, 분포 외부 위조에 대한 탐지 강건성과 일반화 능력은 얼마나 향상되는가?
• RQ4 기존 포렌식 특징에 비해 자기지도 학습을 통한 소음 민감도 지문인 Noiseprint++를 사용함으로써 이미지 라우닝에 대한 강건성이 향상되는가?
• RQ5 신뢰도 인식 기반 검출 전략을 사용할 경우, 실제 환경에서 높은 탐지 정확도를 유지하면서도 거짓 경고율을 크게 줄일 수 있는가?

주요 결과

• TruFor는 일곱 가지 벤치마크에서 최신 기술 수준의 방법보다 평균 25%의 정확도 향상을 달성했으며, 고정 임계값을 사용할 경우 거짓 경고율이 79% 감소했다.
• 신뢰도 가중 풀링을 활용함으로써 최대 풀링 기반 기준 대비 거짓 경고를 최대 80%까지 줄여 대규모 배포 환경에서의 신뢰성을 크게 향상시켰다.
• 신뢰도 맵은 균일하거나 무늬가 없는 영역(어두운 균일 배경 등)에서 다른 방법이 자주 실패하는 곳에서 거짓 경고를 효과적으로 식별하고 억제한다.
• 신뢰도 맵을 사용할 경우 탐지 작업에서 AUC는 0.996, 정확도는 0.905를 기록했으나, 이를 사용하지 않을 경우 AUC는 0.877, 정확도는 0.785에 머물렀다.
• 정성적 결과에서는 TruFor가 최신 기술 수준의 방법보다 더 선명하고 정확한 국소화 맵을 생성하며, 특히 실제 위조의 경계나 원본 이미지에 대한 거짓 경고 영역을 올바르게 식별하는 신뢰도 맵을 제공한다.
• 특히 이미지 라우닝과 다양한 위조 유형이 혼재된 어려운 상황에서 기존 방법보다 검출 및 국소화 성능에서 뛰어난 성능을 보였다.