[논문 리뷰] ObjectFormer for Image Manipulation Detection and Localization

Junke Wang, Zuxuan Wu외 5명|arXiv (Cornell University)|2022. 03. 28.

Digital Media Forensic Detection인용 수 9

한 줄 요약

ObjectFormer는 RGB 및 고주파 도메인 특징을 융합하여 이미지 변조를 검출하고 국소화하는 다중모달 트랜스포머 프레임워크이다. 가르키는 객체 프로토타입을 사용하여 객체 수준 및 패치 수준의 일관성을 모델링한다. 다양한 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하여 기존 방법보다 변조 검출 및 국소화 정확도에서 뛰어난 성능을 발휘한다.

ABSTRACT

Recent advances in image editing techniques have posed serious challenges to the trustworthiness of multimedia data, which drives the research of image tampering detection. In this paper, we propose ObjectFormer to detect and localize image manipulations. To capture subtle manipulation traces that are no longer visible in the RGB domain, we extract high-frequency features of the images and combine them with RGB features as multimodal patch embeddings. Additionally, we use a set of learnable object prototypes as mid-level representations to model the object-level consistencies among different regions, which are further used to refine patch embeddings to capture the patch-level consistencies. We conduct extensive experiments on various datasets and the results verify the effectiveness of the proposed method, outperforming state-of-the-art tampering detection and localization methods.

연구 동기 및 목표

• RGB 도메인에서는 보이지 않지만 주파수 도메인에서는 보이는 미세한 이미지 변조를 탐지하는 데 도전하는 것.
• 가르키는 객체 프로토타입을 사용하여 객체 수준 및 패치 수준의 시각 일관성을 모델링하여 변조 탐지 성능을 향상시키는 것.
• RGB 및 주파수 특징을 동시에 활용하여 강력한 변조 국소화를 위한 종단 간 다중모달 트랜스포머 프레임워크를 개발하는 것.
• 다양한 데이터셋에서 검출 정확도 및 국소화 정밀도 측면에서 기존 최신 기술 수준의 방법들을 능가하는 것.

제안 방법

• 모델은 입력 이미지의 고주파 성분을 추출하기 위해 이산余弦변환(DCT)을 사용하며, RGB 특징을 보완한다.
• RGB 특징과 고주파 특징을 합성하여 컨볼루션 레이어를 통해 다중모달 패치 임베딩을 형성한다.
• 가르키는 객체 프로토타입을 사용하여 패치 임베딩과의 크로스 어텐션을 통해 객체 수준의 일관성을 모델링한다.
• 스택된 객체 인코더와 패치 디코더를 통해 객체 수준의 일관성을 반복적으로 개선함으로써 패치 수준의 일관성 모델링을 향상시킨다.
• 종단 간 전역 변조 레이블과 조밀한 변조 마스크 예측을 동시에 수행하기 위해 다중작업 학습 설정을 채택한다.
• 객체 프로토타입과 패치 임베딩 간의 크로스 어텐션을 통해 특징 정제를 달성함으로써 계층적 일관성 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 RGB 및 주파수 도메인 특징을 융합하면 미세한 이미지 변조 아티팩트 탐지 성능을 향상시킬 수 있는가?
• RQ2 가르키는 객체 프로토타입은 변조 탐지에 있어 객체 수준의 시각 일관성을 얼마나 효과적으로 모델링하는가?
• RQ3 객체 프로토타입을 통한 패치 수준 일관성의 명시적 모델링이 국소화 정확도 향상에 기여하는가?
• RQ4 RGB 및 고주파 특징의 다중모달 융합 방식이 스플라이싱, 커피-무브, 제거 변조 탐지에서 단일 모odal 접근 방식보다 우월한가?
• RQ5 객체 프로토타입 및 고주파 임베딩과 같은 아키텍처 구성 요소가 전체 모델 성능에 미치는 영향은 무엇인가?

주요 결과

• ObjectFormer는 CASIA, Columbia, Coverage, NIST16, IMD20 데이터셋에서 변조 국소화의 AUC 및 F1 점수 측면에서 최신 기술 수준의 방법들을 능가한다.
• 고주파 임베딩(HFE)을 제거하면 CASIA에서 AUC가 14.6% 감소하고 NIST16에서는 11.0% 감소하여, 미세한 아티팩트 탐지에 있어 그 핵심적 역할을 확인한다.
• 경계 인식 일관성 모델링(BCIM) 구성 요소를 제거하면 CASIA에서 AUC가 6.2% 감소하고 NIST16에서는 2.4% 감소하여, 경계 민감 탐지에서의 중요성을 입증한다.
• 기본적인 스트레스 어텐션 블록으로 객체 인코더 및 디코더를 대체하면 NIST16에서 AUC가 5% 감소하고 F1이 12.5% 감소하여 중간 수준의 객체 표현의 가치를 입증한다.
• 최적의 객체 프로토타입 수는 16개이며, Columbia 및 CASIA 데이터셋에서 최고 성능을 달성한다. 이 수치까지 증가함에 따라 성능이 향상된다.
• 정성적 결과에서는 ObjectFormer가 ManTraNet 및 SPAN보다 더 선명하고 정확한 변조 마스크를 생성함을 보여주며, 특히 복잡한 경계를 국소화하는 데 뛰어난 성능을 발휘한다.