[논문 리뷰] PSCC-Net: Progressive Spatio-Channel Correlation Network for Image Manipulation Detection and Localization

Xiaohong Liu, Yaojie Liu외 2명|arXiv (Cornell University)|2021. 03. 19.

Adversarial Robustness in Machine Learning인용 수 11

한 줄 요약

PSCC-Net은 이미지 수정 탐지 및 국소화를 위한 새로운 프로그레시브 스펙트럴 채널 상관망으로, 상향식 특징 추출과 하향식 다중 척도 마스크 예측을 위한 이중 경로 아키텍처를 사용한다. 공간적 및 채널별 주의를 모델링하기 위해 스펙트럴-채널 상관 모듈(SCCM)을 통합함으로써 CASIA-D에서 97.12%의 F1 스코어를 달성하며, 스케일 변동성과 이미지 왜곡에 대해 뛰어난 내성성을 보이며, 50 FPS 이상의 속도로 이미지를 처리한다.

ABSTRACT

To defend against manipulation of image content, such as splicing, copy-move, and removal, we develop a Progressive Spatio-Channel Correlation Network (PSCC-Net) to detect and localize image manipulations. PSCC-Net processes the image in a two-path procedure: a top-down path that extracts local and global features and a bottom-up path that detects whether the input image is manipulated, and estimates its manipulation masks at multiple scales, where each mask is conditioned on the previous one. Different from the conventional encoder-decoder and no-pooling structures, PSCC-Net leverages features at different scales with dense cross-connections to produce manipulation masks in a coarse-to-fine fashion. Moreover, a Spatio-Channel Correlation Module (SCCM) captures both spatial and channel-wise correlations in the bottom-up path, which endows features with holistic cues, enabling the network to cope with a wide range of manipulation attacks. Thanks to the light-weight backbone and progressive mechanism, PSCC-Net can process 1,080P images at 50+ FPS. Extensive experiments demonstrate the superiority of PSCC-Net over the state-of-the-art methods on both detection and localization.

연구 동기 및 목표

• 다양한 스케일과 왜곡 조건 하에서 스플리싱, 커피-무브, 제거 등의 다양한 이미지 수정을 탐지하고 국소화하는 도전 과제를 해결한다.
• 기존 방법의 한계인 스케일 변동성, 공간적 및 채널별 상관관계 모델링 부족, 정제된 이미지에서의 신뢰성 없는 탐지 문제를 해결한다.
• 일관된 프레임워크를 개발하여 탐지 및 국소화를 동시에 수행하고, 이미지 왜곡에 대한 일반화 능력과 내성성을 향상시킨다.
• 경량 기반 구조와 프로그레시브 마스크 예측 메커니즘을 통해 정확도를 희생시키지 않은 채 효율적인 추론을 가능하게 한다.

제안 방법

• 이중 경로 네트워크를 활용: 상향식 경로에서는 조밀 연결 인코더를 사용해 다중 척도 특징을 추출하고, 하향식 경로에서는 점진적인 수정 마스크 예측을 수행한다.
• 진행적 메커니즘을 구현하여 각 척도의 마스크 예측이 이전 척도의 출력에 조건화되도록 하여 굵은 톤에서 세밀한 국소화를 가능하게 한다.
• 스펙트럴-채널 상관 모듈(SCCM)을 도입하여 특징 표현을 향상시키기 위해 공간적 및 채널별 자기 주의를 적용한다.
• SCCM 내에서 공간적 주의 헤드와 채널 주의 헤드 간의 특징 공유를 통해 효율성과 성능을 향상시키며, 중복 계산을 방지한다.
• 하향식 경로를 설계하여 점차 증가하는 척도에서 네 개의 수정 마스크를 추정하며, 각 마스크가 주의 기반 특징을 사용해 이전 마스크를 개선한다.
• 모든 척도에서 정답 마스크를 사용한 다중 척도 감독 전략을 통해 엔드 투 엔드로 모델을 훈련시켜 국소화 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델은 스플리싱, 커피-무브, 제거 등 다양한 유형의 이미지 수정을 다양한 스케일에서 효과적으로 탐지하고 국소화할 수 있는가?
• RQ2 특징의 공간적 및 채널별 상관관계를 모델링함으로써, 예측되지 않은 수정 공격에 대한 일반화 능력은 얼마나 향상되는가?
• RQ3 진행적이고 굵은 톤에서 세밀한 마스크 예측 메커니즘은 스케일 변동을 다루는 데 있어 전통적인 인코더-디코더 또는 풀링 없는 아키텍처를 능가할 수 있는가?
• RQ4 실제 환경에서 흔히 발생하는 리사이징, 블러링, 노이즈, JPEG 압축과 같은 일반적인 이미지 왜곡에 대해 제안된 방법은 얼마나 내성적인가?
• RQ5 모델은 모든 입력이 위조된 것으로 가정하지 않고도 수정된 이미지와 정제된 이미지를 신뢰성 있게 구분할 수 있는가? 이는 거짓 경고(false positive)를 줄이는 데 기여하는가?

주요 결과

• PSCC-Net은 CASIA-D 데이터셋에서 표준 평가 설정 하에서 최신 기술(SOTA)을 크게 능가하는 97.12%의 탐지 F1 스코어를 달성한다.
• 다양한 왜곡 조건에서도 높은 내성성을 유지한다: JPEG 압축 이미지(QF=50)에서 AUC 99.45%, F1 96.47%를 기록하여 압축에 대한 강력한 저항성을 보인다.
• 제거 실험을 통해 SCCM 내 공간적 주의와 채널별 주의 모두 성능 향상에 기여함을 확인했으며, 공간적 주의가 채널별 주의보다 더 큰 기여를 했다.
• SCCM 내 특징 공유 전략은 성능 향상과 추론 시간 단축을 동시에 달성하여, 주의 헤드 간 공유 표현이 모델의 효율성과 정확도를 향상시킨다는 것을 입증한다.
• PSCC-Net은 1,080장의 이미지를 50 FPS 이상으로 처리하여 가벼운 기반 구조를 바탕으로 실시간 추론 능력을 입증한다.
• 복잡한 다중 척도 위조 사례에서 실패한 경우에도 PSCC-Net은 ManTra-Net 및 SPAN과 같은 최신 기술(SOTA) 방법을 능가하며 스케일 변동성에 대한 뛰어난 내성성을 보였다.