[논문 리뷰] Hierarchical Fine-Grained Image Forgery Detection and Localization

Xiao Guo, Xiaohong Liu외 4명|arXiv (Cornell University)|2023. 03. 30.

Digital Media Forensic Detection인용 수 4

한 줄 요약

이 논문은 '완전히 합성된'에서 'DDPM' 또는 '스패licing'에 이르기까지 다양한 추상화 수준에서 포르지 속성 모델링을 수행하는 계층적 세분화 프레임워크를 제안한다. 포르지 속성 간의 계층적 종속성을 활용하여 이미지 수준의 검출과 픽셀 수준의 국소화 성능을 향상시키며, 일곱 가지 벤치마크에서 최신 기술 수준의 성능을 달성하고, 알려지지 않은 포르지 방법으로의 일반화 성능을 확보한다.

ABSTRACT

Differences in forgery attributes of images generated in CNN-synthesized and image-editing domains are large, and such differences make a unified image forgery detection and localization (IFDL) challenging. To this end, we present a hierarchical fine-grained formulation for IFDL representation learning. Specifically, we first represent forgery attributes of a manipulated image with multiple labels at different levels. Then we perform fine-grained classification at these levels using the hierarchical dependency between them. As a result, the algorithm is encouraged to learn both comprehensive features and inherent hierarchical nature of different forgery attributes, thereby improving the IFDL representation. Our proposed IFDL framework contains three components: multi-branch feature extractor, localization and classification modules. Each branch of the feature extractor learns to classify forgery attributes at one level, while localization and classification modules segment the pixel-level forgery region and detect image-level forgery, respectively. Lastly, we construct a hierarchical fine-grained dataset to facilitate our study. We demonstrate the effectiveness of our method on $7$ different benchmarks, for both tasks of IFDL and forgery attribute classification. Our source code and dataset can be found: \href{https://github.com/CHELSEA234/HiFi_IFDL}{github.com/CHELSEA234/HiFi-IFDL}.

연구 동기 및 목표

• 다양한 포르지 도메인, 즉 CNN으로 합성된 포르지 및 이미지 편집 방법을 포함한 통합된 이미지 포르지 검출 및 국소화 문제를 해결하기 위해.
• 포르지 속성의 내재된 계층적 구조를 모델링하기 위해, 예를 들어 '완전히 합성된'에서 '확산 모델'이나 '스패licing'와 같은 특정 방법으로의 이동을 포함하여.
• 다중 브랜치 특징 추출, 계층적 분류, 픽셀 수준의 국소화를 공동 최적화하여 표현 학습을 향상시키기 위해.
• 통합된 IFDL 모델의 훈련 및 평가를 지원하기 위해 새로운 계층적 세분화 데이터셋(HiFi-IFDL)을 구축하기 위해.

제안 방법

• 각 브랜치가 특정 수준의 포르지 속성 분류를 위한 특징을 학습하는 다중 브랜치 특징 추출기 구조를 사용한다.
• 각 노드의 예측를 루트에서의 경로에 조건화하여 계층적 분류를 수행함으로써, 다양한 수준 간의 일관성을 확보한다.
• 실제 이미지의 평균 특징 벡터와 특징을 비교하는 대비 손실을 통해 픽셀 수준의 포르지 국소화를 달성한다.
• 손실 함수는 적응형이다: 입력이 실제 이미지일 경우 최종 브랜치만 훈련되고, 포르지된 이미지일 경우 모든 브랜치가 최적화된다.
• 특징 추출기, 분류기, 국소화 모듈에 대해 별도의 학습률을 사용하여 엔드 투 엔드로 모델을 훈련시킨다.
• 12개의 포르지 카테고리로 구성된 새로운 데이터셋 HiFi-IFDL을 구축하였으며, 이는 4단계의 세분화 수준을 포함하고 있으며, 훈련 세트에 포함된 메서드와 포함되지 않은 메서드를 모두 포함한다.

실험 결과

연구 질문

• RQ1 통합된 IFDL 프레임워크는 CNN으로 합성된 포르지 및 이미지 편집 도메인 모두에서 포르지를 효과적으로 검출하고 국소화할 수 있는가?
• RQ2 포르지 속성을 계층적으로 모델링할 경우, 평탄한 분류 방식에 비해 검출 및 국소화 성능 향상 정도는 어떠한가?
• RQ3 훈련 세트에 포함되지 않은 새로운 포르지 방법으로의 일반화 능력은 어느 정도인가?
• RQ4 포르지 속성 간의 계층적 종속성이 표현 학습에 어떻게 기여하는가?
• RQ5 다중 수준 감독이 국소화 정확도와 강건성에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 이미지 수준의 포르지 검출 및 픽셀 수준의 국소화 모두에서 일곱 가지 벤치마크에서 최신 기술 수준의 성능을 달성한다.
• 모델은 알려지지 않은 포르지 방법으로의 일반화에 효과적으로 대응하여, 제로샷 설정에서도 강건성을 입증한다.
• 더 깊은 수준의 세분화 분류(예: 특정 확산 모델)는 더 흐린 수준의 감독에서 유의미한 이점을 얻으며, 더 흐린 수준의 예측이 약할지라도 정확도 향상에 기여한다.
• 계층적 구조는 포르지 방법과 포르지 영역 분포 간의 상관관계를 활용하여 더 나은 국소화 성능을 가능하게 한다.
• 제안된 HiFi-IFDL 데이터셋은 향후 통합 IFDL 연구를 위한 다양하고 다수준의 벤치마크를 제공한다.
• 질적 결과에서 모델은 StyleGANv3 및 Faceshifter에서 유도된 복잡한 포르지까지도 정확하게 분류하는 강력한 강건성을 보였다.