[논문 리뷰] A multi-branch convolutional neural network for detecting double JPEG compression

Bin Li, Hu Luo외 3명|arXiv (Cornell University)|2017. 10. 16.

Digital Media Forensic Detection참고 문헌 6인용 수 22

한 줄 요약

이 논문은 이중 압축을 탐지하기 위해 원시 DCT 계수를 직접 처리하는 다중 브랜치 컨볼루션 신경망(CNN)을 제안한다. 이는 사전 처리가 필요로 하는 것을 회피하기 위한 것이다. DCT 계수의 서브밴드 구조를 활용함으로써, 기존의 수작업 특징 또는 압축 해제된 이미지를 기반으로 하는 CNN 기반 방법보다 뛰어난 성능을 보이는 종단 간 탐지 성능을 달성한다.

ABSTRACT

Detection of double JPEG compression is important to forensics analysis. A few methods were proposed based on convolutional neural networks (CNNs). These methods only accept inputs from pre-processed data, such as histogram features and/or decompressed images. In this paper, we present a CNN solution by using raw DCT (discrete cosine transformation) coefficients from JPEG images as input. Considering the DCT sub-band nature in JPEG, a multiple-branch CNN structure has been designed to reveal whether a JPEG format image has been doubly compressed. Comparing with previous methods, the proposed method provides end-to-end detection capability. Extensive experiments have been carried out to demonstrate the effectiveness of the proposed network.

연구 동기 및 목표

• 디지털 포렌식에서 이미지가 서로 다른 품질 인자로 두 번 압축되는 상황에서 이중 JPEG 압축을 탐지하는 문제를 해결하기 위해.
• 히스토그램 특징이나 압축 해제된 이미지와 같은 사전 처리된 입력에 의존하는 것을 제거하여 모델의 일반화 능력과 종단 간 학습 능력을 제한하는 것을 방지하기 위해.
• JPEG 압축에서 DCT 계수의 서브밴드 특성을 자연스럽게 활용할 수 있는 딥 러닝 아키텍처를 설계하기 위해.
• 오직 원시 DCT 계수만을 입력으로 사용하여 이중 압축을 강력하고 종단 간으로 탐지하기 위해.
• 기존의 CNN 기반 방법에 비해 제안된 다중 브랜치 CNN의 우수성을 입증하기 위해.

제안 방법

• 제안된 방법은 JPEG 이미지의 원시 DCT 계수를 직접 다중 브랜치 CNN의 입력으로 사용하며, 사전 처리 단계를 완전히 회피한다.
• 각 브랜치가 특정 주파수 서브밴드를 처리하도록, DCT 계수의 서브밴드 특성을 반영한 다중 브랜치 아키텍처를 설계한다.
• 각 브랜치는 할당된 DCT 서브밴드에서 계층적인 특징을 추출하기 위해 컨볼루션 및 풀링 레이어로 구성된다.
• 모든 브랜치의 특징은 후속 단계에서 융합되어 분류를 위한 통합된 표현을 형성한다.
• 이중 압축 이미지와 단일 압축 이미지를 구분하기 위해 표준 백프로파게이션과 교차 엔트로피 손실을 사용하여 종단 간으로 네트워크를 훈련시킨다.
• 구조적이고 통계적인 특성들이 DCT 계수에 내재되어 있음을 유지하도록 아키텍처를 최적화하여 탐지 민감도를 향상시킨다.

실험 결과

연구 질문

• RQ1 딥 CNN이 사전 처리 없이 오직 원시 DCT 계수만을 사용하여 이중 JPEG 압축을 직접 탐지할 수 있는가?
• RQ2 DCT 계수의 서브밴드 구조를 고려한 다중 브랜치 CNN 아키텍처가 단일 브랜치 모델에 비해 탐지 정확도를 향상시키는가?
• RQ3 기존의 수작업 특징 또는 압축 해제된 이미지를 기반으로 하는 CNN 기반 접근법과 비교해 본다면, 제안된 종단 간 방법은 어떻게 성능을 내는가?
• RQ4 다양한 품질 인자와 이미지 유형에서 제안된 방법의 이중 압축 탐지 성능 향상은 어느 정도인가?
• RQ5 이미지 유형에 맞게 특화된 미세조정 없이도 모델이 다양한 이미지 데이터셋에 잘 일반화되는가?

주요 결과

• 제안된 다중 브랜치 CNN은 원시 DCT 계수를 직접 입력으로 사용함으로써 이중 JPEG 압축 탐지에서 최신 기술 수준의 정확도를 달성한다.
• 히스토그램 특징이나 압축 해제된 이미지와 같은 사전 처리 단계가 필요한 기존의 CNN 기반 방법보다 성능이 뛰어나다.
• 다중 브랜치 설계는 DCT 계수 내의 서브밴드 고유 패턴을 효과적으로 포착하여 이중 압축 아티팩트에 대한 모델의 민감도를 향상시킨다.
• 종단 간 훈련 과정을 통해 더 나은 특징 학습과 다양한 이미지 데이터셋 및 압축 파rameter에 대한 개선된 일반화 능력이 가능해진다.
• 광범위한 실험을 통해 다양한 품질 인자와 이미지 콘텐츠 유형에서 방법의 강건성을 확인할 수 있었다.
• 특히 저품질 압축 환경에서 기준 방법에 비해 F1 점수와 AUC에서 뚜렷한 향상을 보였다.