[논문 리뷰] Boundary-based Image Forgery Detection by Fast Shallow CNN

Zhongping Zhang, Yixuan Zhang외 2명|arXiv (Cornell University)|2018. 01. 20.

Digital Media Forensic Detection참고 문헌 15인용 수 10

한 줄 요약

이 논문은 저해상도 이미지에서 특히 효과적인, 채도 및 색조 차이를 분석하여 이미지 위조를 탐지하는 빠르고 얕은 합성곱 신경망(SCNN)을 제안한다. 전역 특징 추출을 사용하는 효율적인 변종인 Fast SCNN는 슬라이딩 윈도우 기반 탐지보다 빠르며, CASIA 2.0 데이터셋에서 SOTA 기법을 초월하여 JPEG 이미지에서 85.35%의 정확도, TIFF 이미지에서 82.93%의 정확도를 기록한다.

ABSTRACT

Image forgery detection is the task of detecting and localizing forged parts in tampered images. Previous works mostly focus on high resolution images using traces of resampling features, demosaicing features or sharpness of edges. However, a good detection method should also be applicable to low resolution images because compressed or resized images are common these days. To this end, we propose a Shallow Convolutional Neural Network(SCNN), capable of distinguishing the boundaries of forged regions from original edges in low resolution images. SCNN is designed to utilize the information of chroma and saturation. Based on SCNN, two approaches that are named Sliding Windows Detection (SWD) and Fast SCNN, respectively, are developed to detect and localize image forgery region. In this paper, we substantiate that Fast SCNN can detect drastic change of chroma and saturation. In image forgery detection experiments Our model is evaluated on the CASIA 2.0 dataset. The results show that Fast SCNN performs well on low resolution images and achieves significant improvements over the state-of-the-art.

연구 동기 및 목표

• 기존의 리샘플링 기반 방법이 실패하는 저해상도 및 압축된 이미지에서 효과적인 위조 탐지 방법을 개발하기 위해.
• 깊은 네트워크가 형태나 구조에 과적합되는 문제를 해결하기 위해, 경계 수준의 색조 및 채도 변화에 집중한 얕은 아키텍처를 사용하기 위해.
• 중복 계산을 피하는 효율적인 탐지 파이프라인을 설계하여 대규모 이미지에서 실시간 적용을 가능하게 하기 위해.
• 인터폴레이션 또는 디모사이싱 흔적에 의존하지 않고 정확한 위조 영역 국소화를 가능하게 하기 위해, 이는 압축되거나 크기가 조정된 이미지에서 신뢰할 수 없기 때문이다.

제안 방법

• 경계 수준의 색조 및 채도 변화에 집중하기 위해 풀링 레이어를 제외한 두 개의 합성곱 레이어와 두 개의 완전 연결 레이어를 갖는 얕은 CNN(SCNN)을 설계하여, 위조 경계와 원본 경계를 분류한다.
• 경계 영역에 중점을 두는 새로운 방법을 통해 에지 패치를 추출하여 색조 및 채도 전이에 대한 민감도를 향상시킨다.
• 두 가지 탐지 프레임워크를 제안한다: 슬라이딩 윈도우 탐지(SWD)는 전체 이미지의 32×32 패치에 SCNN를 적용하는 방식이며, Fast SCNN은 전체 이미지에서 특징을 한 번 계산하고 이를 재사용하는 방식이다.
• Fast SCNN는 전체 이미지의 특징 맵을 활용하여 중복된 순방향 전파를 방지하여, 1000×1000 이미지 기준으로 이미지당 최대 108초의 계산 시간을 절감한다.
• 최종 출력은 신뢰도 확률 맵에 임계값 처리 및 중앙값 필터링을 적용하여 위조 영역의 이진 마스크를 생성한다.
• 모델은 CASIA 2.0 데이터셋에서 엔드 투 엔드로 훈련되며, 손실 함수는 경계 수준의 분류 최적화를 위해 설계된다.

실험 결과

연구 질문

• RQ1 리샘플링이나 날카움 특징 대신 색조 및 채도 변화에 집중함으로써, 얕은 CNN이 저해상도 이미지의 위조 경계를 효과적으로 탐지할 수 있는가?
• RQ2 대규모 또는 압축된 이미지에서 슬라이딩 윈도우 기반 탐지 대비 Fast SCNN의 속도 및 정확도 성능은 어떻게 비교되는가?
• RQ3 모델이 위조 영역을 식별하는 데 있어 객체의 형태나 질감보다 색조 및 채도 대비에 얼마나 의존하는가?
• RQ4 왜 모델은 '글자', '질감', '식물' 등의 카테고리에서 성능이 떨어지는가? 잘못된 분류의 원인이 되는 시각적 단서는 무엇인가?

주요 결과

• Fast SCNN는 CASIA 2.0 데이터셋의 JPEG 이미지에서 85.35%의 탐지 정확도, TIFF 이미지에서 82.93%의 정확도를 기록하여, 저해상도 및 압축된 이미지에서 이전의 SOTA 기법을 초월한다.
• 슬라이딩 윈도우 방식 대비 이미지당 최대 108.26초의 계산 시간 절감을 기록하여, 상당한 효율성 향상을 입증한다.
• 시각화 및 추론 실험을 통해 SCNN가 객체의 형태나 질감에 의존하지 않고, 위조 경계에서의 색조 및 채도 대비를 효과적으로 포착하고 있음을 확인했다.
• 복잡한 배경이나 다양한 초점 깊이를 가진 이미지에서는 성능이 떨어지며, 특히 '글자', '질감', '식물' 카테고리에서 민감도가 낮음을 보여주어 초점과 배경 복잡성에 민감함을 시사한다.
• 패치 기반 모델의 단점을 피하기 위해 Fast SCNN는 일관되고 국소화된 마스크를 생성한다. 반면, Zhang 등에 의한 방법은 패치 수준의 분류 편향으로 인해 전체 하늘 영역을 잘못 위조로 표시하는 등 문제가 있었다.
• 유사한 이미지에서 다양한 페어링된 영역에서도 일관된 탐지 성능을 보여, SCNN가 일반적인 이미지 콘텐츠가 아닌 경계 특징(색조/채도 이동)을 학습하고 있음을 확인했다.