[논문 리뷰] ForensicTransfer: Weakly-supervised Domain Adaptation for Forgery Detection

Davide Cozzolino, Justus Thies외 4명|arXiv (Cornell University)|2018. 12. 06.

Digital Media Forensic Detection참고 문헌 57인용 수 220

한 줄 요약

ForensicTransfer는 실제/가짜 표현을 분리하는 자동인코더 기반 임베딩을 도입하여 보지 못한 위조 방법에 대한 강력한 제로샷 및 소수 샷 transfer를 달성하고, 제한된 타깃 도메인 데이터로도 최첨단 탐지기보다 우수한 성능을 보입니다.

ABSTRACT

Distinguishing manipulated from real images is becoming increasingly difficult as new sophisticated image forgery approaches come out by the day. Naive classification approaches based on Convolutional Neural Networks (CNNs) show excellent performance in detecting image manipulations when they are trained on a specific forgery method. However, on examples from unseen manipulation approaches, their performance drops significantly. To address this limitation in transferability, we introduce Forensic-Transfer (FT). We devise a learning-based forensic detector which adapts well to new domains, i.e., novel manipulation methods and can handle scenarios where only a handful of fake examples are available during training. To this end, we learn a forensic embedding based on a novel autoencoder-based architecture that can be used to distinguish between real and fake imagery. The learned embedding acts as a form of anomaly detector; namely, an image manipulated from an unseen method will be detected as fake provided it maps sufficiently far away from the cluster of real images. Comparing to prior works, FT shows significant improvements in transferability, which we demonstrate in a series of experiments on cutting-edge benchmarks. For instance, on unseen examples, we achieve up to 85% in terms of accuracy, and with only a handful of seen examples, our performance already reaches around 95%.

연구 동기 및 목표

• 새로운 이미지 위조 방법의 급속한 등장에 대응하여 위조 탐지기의 전이 가능성을 향상한다.
• 잠재 공간에서 실제/가짜 표현을 분리하는 약지도 학습(autoencoder 기반) 탐지기를 개발한다.
• 표적 데이터에 최소한의 레이블로 제로샷 및 소수샷 적응을 가능하게 한다.
• 제안된 방법이 다양한 데이터셋에서 최첨단의 transfer 성능을 달성함을 보인다.

제안 방법

• 실제 대조 이미지와 위조 이미지를 위한 포렌식 임베딩을 학습하는 인코더–디코더(autoencoder) 아키텍처를 제안한다.
• 잠재 공간을 h0(실제)와 h1(가짜)의 두 불가교 영역으로 분할하고 각 클래스에 대응하는 부분만 활성화되도록 학습한다.
• 잠재 공간의 정보를 보존하기 위해 재구성 손실 L_REC를 사용하고, 잠재 공간에서 클래스별 활성화(a0 또는 a1)를 강제하기 위한 활성화 손실 L_ACT를 활용한다.
• 클래스 활성화 a_c(x)를 대응하는 잠재 부분의 L1 노름으로 계산하고 a0(x)와 a1(x)을 비교하여 분류한다.
• 위조 신호를 강조하기 위해 입력 데이터를 고역 통과 잔차(세 차항 도함수)로 전처리한다.
• 소스 도메인에서 학습된 모델을 소량의 타깃 도메인 세트에 미세조정하여 빠른 적응(제로샷/소수샷)을 달성한다.
• Adam(lr=0.001), 배치 크기 64로 학습하고, 검증 손실을 모니터링하며 개선이 없으면 30 에포크 후 중단한다.

실험 결과

연구 질문

• RQ1 잠재 공간 분리(autoencoder)가 보지 못한 조작 방법으로의 위조 탐지기 전이 가능성을 향상시킬 수 있는가?
• RQ2 새로운 조작 도메인에서 높은 정확도를 달성하기 위해 필요한 소량의 레이블 달린 타깃 도메인 샘플은 얼마나 되는가?
• RQ3 클래스별 잠재 활성화를 제약하는 것이 intra-class 분산을 줄이고 크로스 도메인 일반화를 개선하는가?
• RQ4 잔차 기반 전처리의 전이 성능에 미치는 영향은 무엇인가?
• RQ5 제로샷 및 소수샷 시나리오에서 ForensicTransfer가 기존 CNN 탐지기와 비교하여 어떤 우위를 보이는가?

주요 결과

• ForensicTransfer은 보지 못한 조작에 대해 높은 정확도를 달성하며 제로샷 전이에서 최대 85%, 제한적 타깃 도메인 예제로 약 95%의 정확도를 달성합니다.
• 잔차 전처리 제거, 재구성 손실 제거 또는 교차 엔트로피 손실 사용의 Ablation 연구는 전이 성능을 저하시켜 설계 선택을 확인합니다.
• 제안된 활성화 기반 손실은 intra-class 분산을 줄이고 새로운 조작 도메인으로의 일반화를 향상시킵니다.
• 제로샷 및 소수샷 전이는 다수의 소스-타깃 도메인 쌍에서 기존 CNN 탐지기보다 우수합니다.
• 다중 소스 학습(다수-단일 전이)은 타깃 도메인 탐지를 더욱 향상시키며, 특히 저샷 인 경우 이익이 큽니다.