[논문 리뷰] Constrained R-CNN: A general image manipulation detection model

Chao Yang, Huizhou Li외 3명|arXiv (Cornell University)|2019. 11. 19.

Digital Media Forensic Detection참고 문헌 16인용 수 5

한 줄 요약

Constrained R-CNN는 조건부 컨볼루션 레이어 기반의 학습 가능한 특징 추출기, 주의 기반 영역 제안기, 스킵 연결 병합 기법을 활용하여 이미지 조작 탐지에 일반적이고 종단 간(end-to-end), 군집에서 세분화로의 아키텍처를 제안한다. 이는 조작 유형 분류와 정밀한 국소화를 동시에 수행한다. 이로 인해 NIST16, COVERAGE, Columbia 데이터셋에서 각각 28.4%, 73.2%, 13.3%의 F₁ 스코어 향상을 달성하며 최신 기술 수준의 성능을 확보한다.

ABSTRACT

Recently, deep learning-based models have exhibited remarkable performance for image manipulation detection. However, most of them suffer from poor universality of handcrafted or predetermined features. Meanwhile, they only focus on manipulation localization and overlook manipulation classification. To address these issues, we propose a coarse-to-fine architecture named Constrained R-CNN for complete and accurate image forensics. First, the learnable manipulation feature extractor learns a unified feature representation directly from data. Second, the attention region proposal network effectively discriminates manipulated regions for the next manipulation classification and coarse localization. Then, the skip structure fuses low-level and high-level information to refine the global manipulation features. Finally, the coarse localization information guides the model to further learn the finer local features and segment out the tampered region. Experimental results show that our model achieves state-of-the-art performance. Especially, the F1 score is increased by 28.4%, 73.2%, 13.3% on the NIST16, COVERAGE, and Columbia dataset.

연구 동기 및 목표

• 기존의 이미지 조작 탐지 모델에서 수작업으로 설계하거나 사전에 정의된 특징의 한계를 해결한다.
• 단순 국소화에만 집중하면서 조작 기법 분류를 간과하는 현재의 방법들에서 비롯되는 불균형을 해결한다.
• 여러 콘텐츠 조작 유형(예: 스플리싱, 복사-이동, 제거 등)을 동시에 탐지하고 분류할 수 있는 통합형 일반 목적 모델을 개발한다.
• 실제 현장 증거 분석 워크플로우를 영감으로 삼은 군집에서 세분화로의 아키텍처 설계를 통해 탐지의 강건성과 정밀도를 향상시킨다.
• 공 ing된 특징에 의존하지 않고 데이터에서 직접 조작 징후를 종단 간 학습할 수 있도록 한다.

제안 방법

• 원시 이미지 데이터로부터 통합된 위조 표현을 자동으로 학습할 수 있도록 제약 조건이 부여된 컨볼루션 레이어 기반의 학습 가능한 조작 특징 추출기(LMFE)를 도입한다.
• Stage-1에서 후보 조작 영역를 식별하고 군집적 국소화 및 분류를 수행하기 위해 주의 기반 영역 제안 네트워크(RPN-A)를 설계한다.
• 저수준 및 고수준 특징의 다중 수준 특징을 융합하기 위해 Stage-2에 스킵 연결 구조를 구현한다.
• Stage-1의 바운딩 박스 예측 결과를 사전 지식으로 활용하여 Stage-2가 세분화된 국소 영역에 집중하도록 이끈다.
• Mask R-CNN에서 유도된 이중 단계 탐지 프레임워크를 사용하여 전체 모델을 종단 간으로 훈련하고, 분류 및 세분화를 공동 최적화한다.
• 일반화 및 강건성을 향상시키기 위해 플립, 노이즈 주입, JPEG 압축과 같은 데이터 증강 기법을 적용한다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델이 수작업으로 설계된 특징에 의존하지 않고 정확한 조작 분류와 정밀한 국소화를 동시에 수행할 수 있는가?
• RQ2 단일 단계 모델과 비교해 볼 때 군집에서 세분화로의 아키텍처는 이미지 조작 탐지 및 세분화에 어떤 방식으로 향상되는가?
• RQ3 학습 가능한 특징 추출기가 기존의 사전 정의된 필터(예: SRM, CFA)보다 다양한 위조 패턴을 얼마나 잘 포착할 수 있는가?
• RQ4 주의 메커니즘과 스킵 연결을 통합함으로써 복잡한 이미지 증거 분석 작업의 특징 표현이 향상되는가?
• RQ5 다양한 조작 유형과 이미지 품질을 가진 다양한 데이터셋에 대해 모델의 일반화 능력은 어느 정도인가?

주요 결과

• Constrained R-CNN는 NIST16, COVERAGE, Columbia, CASIA의 네 가지 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성한다.
• 이전 방법과 비교해 NIST16 데이터셋에서 F₁ 스코어가 28.4% 향상되었고, COVERAGE에서는 73.2%, Columbia에서는 13.3% 향상되었다.
• NIST16 데이터셋에서 Constrained R-CNN는 평균 정밀도(mAP) 0.939를 기록하여 RGB-N(0.934)을 능가했으며, 복사-이동 조작 탐지에서 특히 두드러진 성능 향상을 보였다(0.999 mAP).
• 스킵 연결 구조는 성능 향상에 크게 기여했으며, 스킵 연결 없이 구현한 Ours-Base는 모든 데이터셋에서 Constrained R-CNN에 비해 열등한 성능을 보였다.
• 데이터 증강 기법 중에서 이미지 플립이 가장 일관된 성능 향상을 가져왔고, JPEG 압축은 CASIA 데이터셋에서 성능 향상을 유도했다.
• 정성적 결과 분석에서 Constrained R-CNN는 특히 복잡한 조작 사례에서 RGB-N 및 MT-Net보다 더 정확하고 노이즈가 적은 세분화 마스크를 생성하는 것으로 나타났다.