[논문 리뷰] Bilinear Faster RCNN with ELA for Image Tampering Detection

Robin Elizabeth Yancey|arXiv (Cornell University)|2019. 04. 07.

Digital Media Forensic Detection참고 문헌 28인용 수 7

한 줄 요약

이 논문은 이미지 위조 탐지 성능을 향상시키기 위해 오차 수준 분석(ELA)을 통합한 이항 Faster R-CNN 프레임워크를 제안한다. 원본 이미지와 ELA를 통해 생성된 JPEG 압축 수준 마스크를 두 번째 입력 스트림으로 융합함으로써, 기존의 소음 분석이나 CFA와 같은 최신 기술보다 더 높은 국소화 정확도와 더 빠른 추론 속도를 달성한다. 이는 위조 기법에 대한 사전 지식 없이도 딥러닝을 통해 분류 가능한 특징을 자동으로 학습할 수 있도록 한다.

ABSTRACT

With technological advances leading to an increase in mechanisms for image tampering, fraud detection methods must continue to be upgraded to match their sophistication. One problem with current methods is that they require prior knowledge of the method of forgery in order to determine which features to extract from the image to localize the region of interest. When a machine learning algorithm is used to learn different types of tampering from a large set of various image types, with a large enough database we can easily classify which images are tampered (by training on the entire image feature map for each image). However, we still are left with the question of which features to train on, and how to localize the manipulation. To solve this, object detection networks such as Faster R-CNN, which combine an RPN (Region Proposal Network) with a CNN, have recently been adapted to fraud detection by utilizing their ability to propose bounding boxes for objects of interest to localize the tampering artifacts. By making use of the computational powers of today's GPUs this method also achieves a fast run-time and higher accuracy than the top current methods such as noise analysis, ELA (Error Level Analysis), or CFA (Color Filter Array). In this work, a multi-linear Faster RCNN network will be applied similarly but with the second stream having an input of the ELA JPEG compression level mask. This is shown to provide even higher accuracy by adding training features from the segmented image map to the network.

연구 동기 및 목표

• 기존의 위조 탐지 기법들이 위조 기법에 대한 사전 지식이 있어야 관련 특징을 추출하는 데에 한계가 있다는 문제를 해결하기 위해.
• 딥러닝 기반 객체 검출을 통해 이미지의 위조 영역 국소화 정확도를 향상시키기 위해.
• 원본 이미지와 ELA 기반 압축 지도를 동시에 학습하는 통합 모델을 통해 수작업으로 만든 특징에 대한 의존도를 줄이기 위해.
• 기존의 소음 분석, ELA, CFA와 같은 전통적 방법보다 더 빠른 추론 속도와 더 높은 탐지 정확도를 달성하기 위해.
• 원본 이미지 특징과 ELA 기반 압축 아티팩트를 융합하여 다중 스트림 특징 학습의 효과를 입증하기 위해.

제안 방법

• 기본 구조로 Faster R-CNN 아키텍처를 사용하며, 영역 제안 네트워크(RPN)와 CNN을 통합하여 객체 검출을 수행한다.
• 두 번째 입력 스트림을 도입하여 ELA로 생성된 JPEG 압축 수준 마스크를 네트워크의 병렬 브랜치로 입력한다.
• 원본 이미지와 ELA 마스크에서 추출한 특징을 이항 풀링 연산을 통해 융합하여 다중 모odal 간 상호작용을 포착한다.
• 다양한 유형의 이미지로 구성된 대규모 데이터셋에서 엔드 투 엔드로 학습하여 위조 국소화를 위한 분류 가능한 특징을 학습한다.
• 현대적인 GPU 가속 기술을 활용하여 고성능 추론을 실현하면서도 높은 탐지 정확도를 유지한다.
• 사전 정의된 특징에 의존하지 않고 데이터에서 직접 최적의 표현을 학습함으로써 특징 엔지니어링의 필요성을 줄인다.

실험 결과

연구 질문

• RQ1 Faster R-CNN 기반 아키텍처에 ELA 마스크를 융합하면 이미지 위조 아티팩트의 국소화 성능이 향상되는가?
• RQ2 원본 이미지 특징과 ELA 특징 간 이항 융합 메커니즘을 적용할 경우, 단일 스트림 모델 대비 탐지 정확도가 향상되는가?
• RQ3 기존 기법들인 소음 분석, ELA, CFA와 비교했을 때 제안된 방법의 정확도와 속도는 어떠한가?
• RQ4 위조 방법에 대한 사전 지식 없이도 다양한 이미지 유형에 대해 모델이 얼마나 잘 일반화되는가?
• RQ5 이미지와 ELA 입력 스트림을 동시에 엔드 투 엔드로 학습함으로써 수작업 특징 엔지니어링이 필요 없어지는가?

주요 결과

• 제안된 ELA 입력을 통한 이항 Faster R-CNN는 소음 분석, ELA, CFA와 같은 최신 기술보다 더 높은 정확도를 달성한다.
• ELA 마스크를 두 번째 입력 스트림으로 융합함으로써 위조 영역의 국소화 정밀도가 크게 향상된다.
• 효율적인 GPU 활용과 엔드 투 엔드 학습 덕분에 빠른 추론 시간을 기록한다.
• 원본 이미지와 ELA 마스크에서 유도된 특징의 이항 융합은 미세한 위조 아티팩트를 보다 잘 탐지할 수 있도록 한다.
• 데이터에서 직접 특징을 학습함으로써 위조 기법에 대한 사전 지식에 대한 의존도를 줄였다.
• 이중 스트림 모델이 이미지 특징과 압축 수준 특징 간 상보적인 정보를 융합함으로써 단일 스트림 모델보다 우수한 성능을 발휘한다.