[논문 리뷰] Towards Effective Image Manipulation Detection with Proposal Contrastive Learning

Yuyuan Zeng, Bowen Zhao외 3명|arXiv (Cornell University)|2022. 10. 16.

Digital Media Forensic Detection인용 수 7

한 줄 요약

이 논문은 이미지 수정 탐지 성능을 향상시키기 위해 수정된 영역과 진짜 영역 간의 공간적 관계를 활용하는 대비 학습 기반으로, 객체 제안(feature)에 대한 자기 지도적 대비 학습(Proposal Contrastive Learning, PCL)이라는 새로운 자기 지도 모듈을 제안한다. RGB 및 노이즈 뷰(여기서는 SRM 필터나 제약 조건이 있는 컨볼루션을 통해 생성됨)를 사용하는 이중 스트림 아키텍처와 함께, 레이블이 있는 데이터와 없는 데이터를 모두 활용함으로써, 특징의 구분 능력을 향상시키고 여러 벤치마크에서 일관된 성능 향상을 달성한다.

ABSTRACT

Deep models have been widely and successfully used in image manipulation detection, which aims to classify tampered images and localize tampered regions. Most existing methods mainly focus on extracting global features from tampered images, while neglecting the relationships of local features between tampered and authentic regions within a single tampered image. To exploit such spatial relationships, we propose Proposal Contrastive Learning (PCL) for effective image manipulation detection. Our PCL consists of a two-stream architecture by extracting two types of global features from RGB and noise views respectively. To further improve the discriminative power, we exploit the relationships of local features through a proxy proposal contrastive learning task by attracting/repelling proposal-based positive/negative sample pairs. Moreover, we show that our PCL can be easily adapted to unlabeled data in practice, which can reduce manual labeling costs and promote more generalizable features. Extensive experiments among several standard datasets demonstrate that our PCL can be a general module to obtain consistent improvement. The code is available at https://github.com/Sandy-Zeng/PCL.

연구 동기 및 목표

• 기존 딥 러닝 기반의 이미지 수정 탐지 방법들이 전반적인 특징에 집중하고 지역적 공간적 관계를 간과한다는 한계를 해결하기 위해.
• 한 장의 이미지 내에서 수정된 영역과 진짜 영역 간의 내재된 공간적 상관관계를 활용해 특징의 구분 능력을 향상시키기 위해.
• 실제 환경에서 흔히 존재하는 레이블이 없는 데이터를 효과적으로 활용함으로써, 고비용의 픽셀 단위 레이블링에 대한 의존도를 줄이기 위해.
• 객체 검출 프레임워크 내에서 제안 수준의 대비 학습을 통합하여, 이미지 수정의 더 나은 국소화 및 분류를 가능하게 하기 위해.

제안 방법

• 이 방법은 RGB 및 노이즈 뷰(예: SRM 필터나 제약 조건이 있는 컨볼루션을 통해 생성됨)에서 특징을 추출하기 위해 이중 스트림 백본 네트워크를 사용하여, 뷰에 관계없이 표현을 학습할 수 있도록 한다.
• 제안 기반의 대비 학습 목표를 도입하여, 동일한 이미지 내에서 수정된 영역과 진짜 영역 등 긍정 쌍의 특징을 가까이 모으고, 부정 쌍의 특징은 떨어지게 한다.
• 대비 손실은 객체 검출기에서 생성한 영역 제안을 활용해 제안 수준에서 적용되며, 추가적인 데이터 증강 없이도 긍정 및 부정 샘플 쌍을 구성한다.
• 이 프레임워크는 지도 학습과 준지도 학습을 모두 지원하여, 레이블이 있는 데이터로 모델을 미세 조정하고, 레이블이 없는 데이터를 활용해 성능을 추가로 향상시킬 수 있다.
• 노이즈 뷰는 의미에 민감하지 않은 특징을 캡처하여, 미세한 수정 아티팩트를 탐지하는 데 모델의 능력을 향상시킨다.
• 이 방법은 플러그 앤 플레이 방식이므로, 기존의 객체 검출 기반 이미지 수정 탐지 파이프라인에 쉽게 통합할 수 있다.

실험 결과

연구 질문

• RQ1 수정된 영역과 진짜 영역 간의 지역적 공간적 관계를 활용하면 이미지 수정 탐지의 특징 표현 성능이 향상되는가?
• RQ2 전반적인 특징 기반 방법과 비교했을 때, 제안 수준의 대비 학습은 탐지 성능 향상에 얼마나 효과적인가?
• RQ3 제안된 방법은 준지도 학습 환경에서 레이블이 없는 데이터를 효과적으로 활용해 레이블링 비용을 줄일 수 있는가?
• RQ4 RGB 및 노이즈 뷰를 갖춘 이중 스트림 아키텍처는 다양한 종류의 수정에 대해 더 강건한 성능을 제공하는가?
• RQ5 국소화 정확도와 레이블링 효율성 측면에서, 이 방법은 최신의 세그멘테이션 기반 접근법과 비교해 어떻게 성능를 내는가?

주요 결과

• PCL는 NIST16 및 IMD20와 같은 여러 표준 데이터셋에서 일관된 성능 향상을 보이며, 지도 학습 및 준지도 학습 환경 모두에서 F1 점수와 평균 정밀도(AP)에서 뚜렷한 향상을 보였다.
• NIST16 데이터셋에서 PCL는 F1 평가 기준으로 기존의 방법들을 능가했으며, 강력한 일반화 능력과 국소화 성능을 입증했다.
• 레이블이 없는 데이터에 적용했을 때도 뚜렷한 성능 향상이 있었으며, 레이블이 부족한 준지도 학습 환경에서 효과적임을 입증했다.
• COVERAGE 및 CASIA V1 데이터셋에서 PCL는 경쟁력 있는 성능을 기록했으며, 특히 바운딩 박스 국소화 측면에서 여러 강력한 베이스라인보다 뛰어난 성능를 보였다.
• PCL는 CASIA에서 일부 최신 세그멘테이션 기반 모델에 비해 픽셀 수준의 지표에서 약간 뒤처지지만, 더 저렴한 바운딩 박스 레이블링과 뛰어난 탐지 성능를 제공해 실용적인 이점을 지닌다.
• 실패 사례는 주로 배경과 시각적으로 유사한 미세한 수정 영역에서 발생하여, 어려운 예제를 다루는 데 향후 개선 여지가 있음을 시사한다.