[논문 리뷰] Detecting Colorized Images via Convolutional Neural Networks: Toward High Accuracy and Good Generalization

Weize Quan, Dong‐Ming Yan외 3명|arXiv (Cornell University)|2019. 02. 17.

Digital Media Forensic Detection참고 문헌 47인용 수 4

한 줄 요약

이 논문은 두 개의 브랜치로 구성된 컨볼루션 신경망(CNN)을 기반으로 한 딥러닝 기반 방법을 제안하여, 특히 블라인드 검출 조건에서 높은 정확도와 뛰어난 일반화 능력을 갖춘 색조화된 이미지 탐지에 성공한다. 새로운 특징 분석 브랜치와 선형 보간을 통한 자동으로 생성된 음성 샘플을 통합함으로써, 모델은 미리 알 수 없는 색조화 알고리즘에 대해서도 뛰어난 성능을 발휘하면서도 높은 분류 정확도를 유지한다.

ABSTRACT

Image colorization achieves more and more realistic results with the increasing computation power of recent deep learning techniques. It becomes more difficult to identify the fake colorized images by human eyes. In this work, we propose a novel forensic method to distinguish between natural images (NIs) and colorized images (CIs) based on convolutional neural network (CNN). Our method is able to achieve high classification accuracy and cope with the challenging scenario of blind detection, i.e., no training sample is available from "unknown" colorization algorithm that we may encounter during the testing phase. This blind detection performance can be regarded as a generalization performance. First, we design and implement a base network, which can attain better performance in terms of classification accuracy and generalization (in most cases) compared with state-of-the-art methods. Furthermore, we design a new branch, which analyzes smaller regions of extracted features, and insert it into the above base network. Consequently, our network can not only improve the classification accuracy, but also enhance the generalization in the vast majority of cases. To further improve the performance of blind detection, we propose to automatically construct negative samples through linear interpolation of paired natural and colorized images. Then, we progressively insert these negative samples into the original training dataset and continue to train the network. Experimental results demonstrate that our method can achieve stable and high generalization performance when tested against different state-of-the-art colorization algorithms.

연구 동기 및 목표

• 최신 딥러닝 기반 색조화 기술로 인해 자연 이미지(NIs)와 색조화된 이미지(CIs)를 구분하는 데 점점 더 어려운 과제가 되고 있음을 다루기 위해.
• 학습 중에 테스트 시 색조화 방법이 알려지지 않은 블라인드 환경에서의 탐지 성능을 향상시키기 위해.
• 분류 정확도를 희생시키지 않은 채 CNN 기반 포렌식 모델의 일반화 능력을 향상시키기 위해.
• 미리 알 수 없는 색조화 알고리즘에 대비해 강건성을 높이기 위한 효과적이고 자동화된 음성 훈련 샘플 생성 방법을 개발하기 위해.

제안 방법

• 기본적인 엔드 투 엔드 CNN 모델을 설계하여 NIs/CMs 분류를 수행하고, 첫 번째 레이어의 활성화 함수에 대한 아블레이션 연구를 수행한다.
• 국소화된 특징 영역을 분석하는 새로운 브랜치를 도입하여 색소산, 균일한 색조 등 미세한 잔상들을 포착한다.
• 쌍으로 이루어진 자연 이미지와 색조화된 이미지 사이의 선형 보간을 통해 음성 샘플을 구성하여 실제 분포 갭을 시뮬레이션한다.
• 이러한 합성 음성 샘플을 점진적으로 훈련 세트에 통합하여 모델의 일반화 능력을 향상시킨다.
• 표준 최적화 기법을 사용하여 교차 엔트로피 손실을 기반으로 네트워크를 엔드 투 엔드로 훈련시킨다.
• 특징 맵과 컨볼루션 커널을 시각화하여 모델의 행동을 해석하고, 색소산 및 비자연스러운 색조 분포와 같은 탐지 신호를 검증한다.

실험 결과

연구 질문

• RQ1 CNN 기반 접근 방식이 전통적인 수작업 특징 방법보다 색조화된 이미지를 탐지하는 데 더 뛰어난 성능을 낼 수 있는가?
• RQ2 딥러닝 모델은 알려지지 않은 색조화 알고리즘에 대해 테스트될 때도 높은 일반화 성능을 유지할 수 있는가?
• RQ3 자동으로 생성된 음성 샘플이 포렌식 분류기의 강건성을 어느 정도 향상시킬 수 있는가?
• RQ4 모델은 자연 이미지와 색조화된 이미지를 구분하기 위해 어떤 시각적 신호를 학습하는가?

주요 결과

• 제안된 두 브랜치 CNN은 알려진 및 알려지지 않은 색조화 알고리즘 모두에서 최신 기술보다 높은 분류 정확도와 더 나은 일반화 능력을 확보한다.
• 새로운 특징 분석 브랜치의 추가로 색소산 및 비자연스러운 균일한 색조 같은 미세한 잔상을 탐지하는 능력이 크게 향상된다.
• 선형 보간을 통한 음성 샘플 사용은 일반화 성능에 안정적이고 측정 가능한 향상을 가져오며, 분류 정확도의 감소도 최소한으로 유지된다.
• 시각화 결과는 모델이 색소산과 균일한 색조 영역에 대해 강하게 반응함을 확인하며, 이는 인위적 색조화의 핵심 지표임을 뒷받침한다.
• 오분류 사례는 주로 저채도를 띤 자연 이미지나 풍부하고 현실적으로 보이는 색조화된 이미지에서 발생하여, 미세한 색조 잔상 탐지에 한계가 있음을 시사한다.