[논문 리뷰] A Novel Convolutional Neural Network for Image Steganalysis with Shared Normalization

Songtao Wu, Sheng-hua Zhong외 1명|arXiv (Cornell University)|2017. 11. 20.

Advanced Steganography and Watermarking Techniques참고 문헌 36인용 수 14

한 줄 요약

이 논문은 이미지 스테고그래피에서 컨volutional 네ural 네트워크를 위한 새로운 배치 정규화 변종인 공유 정규화(Shared Normalization, SN)를 제안한다. 이는 테스트 시 쌍체의 커버-스테고 이미지 배치가 존재하지 않을 때 표준 배치 정규화의 불안정성을 해결하기 위한 것이다. SN은 모든 훈련 및 테스트 배치에 걸쳐 고정된 공유 통계를 사용하여 안정적인 특징 학습과 향상된 일반화를 가능하게 하며, 데이터 증강과 앙상블 학습을 활용해 0.4 bpp에서 S-UNIWARD 스테고그래피에 대해 최고 성능을 기록하며 14.07%의 오차율을 달성한다.

ABSTRACT

Deep learning based image steganalysis has attracted increasing attentions in recent years. Several Convolutional Neural Network (CNN) models have been proposed and achieved state-of-the-art performances on detecting steganography. In this paper, we explore an important technique in deep learning, the batch normalization, for the task of image steganalysis. Different from natural image classification, steganalysis is to discriminate cover images and stego images which are the result of adding weak stego signals into covers. This characteristic makes a cover image is more statistically similar to its stego than other cover images, requiring steganalytic methods to use paired learning to extract effective features for image steganalysis. Our theoretical analysis shows that a CNN model with multiple normalization layers is hard to be generalized to new data in the test set when it is well trained with paired learning. To hand this difficulty, we propose a novel normalization technique called Shared Normalization (SN) in this paper. Unlike the batch normalization layer utilizing the mini-batch mean and standard deviation to normalize each input batch, SN shares same statistics for all training and test batches. Based on the proposed SN layer, we further propose a novel neural network model for image steganalysis. Extensive experiments demonstrate that the proposed network with SN layers is stable and can detect the state of the art steganography with better performances than previous methods.

연구 동기 및 목표

• 테스트 데이터에 쌍체의 커버-스테고 이미지가 존재하지 않을 때 이미지 스테고그래피에서 배치 정규화의 불안정성을 해결하기 위해.
• 쌍체 학습을 통해 훈련된 CNN 모델의 일반화 능력을 향상시키기 위해 배치 통계를 고정된 공유 통계로 대체하기 위해.
• 쌍체 데이터가 흔하지 않은 실제 환경에서 높은 탐지 정확도를 유지할 수 있는 강력한 딥 러닝 프레임워크를 개발하기 위해.
• 공유 정규화가 표준 배치 정규화보다 커버와 스테고 이미지 간의 특징 구분 능력을 향상시킬 수 있음을 입증하기 위해.

제안 방법

• 모든 훈련 및 테스트 배치에 걸쳐 고정된 공유 통계로 배치별 평균과 분산을 대체하는 공유 정규화(SN)를 제안한다.
• 스테고그래피 작업에서 훈련 안정성과 일반화 능력을 향상시키기 위해 SN 레이어를 포함한 새로운 CNN 아키텍처를 설계한다.
• 각 커버 이미지와 해당 스테고 이미지를 함께 훈련하는 쌍체 학습을 적용하여 미세한 스테고그래피 신호를 위한 특징 학습을 강화한다.
• 더 나은 탐지 성능과 내구성을 확보하기 위해 데이터 증강과 앙상블 학습을 적용한다.
• 이론적 분석을 통해 배치 정규화는 쌍체가 없는 테스트 환경에서 통계적 이탈로 인해 실패할 수 있으며, SN은 일관된 특징 구분을 유지함을 보여준다.
• 정확하지 않은 배치 통계가 커버와 스테고 특징 간의 작은 간격을 압도해 탐지 실패로 이어질 수 있음을 수학적으로 도출한다.

실험 결과

연구 질문

• RQ1 왜 표준 배치 정규화는 테스트 데이터에 쌍체의 커버-스테고 이미지가 존재하지 않을 때 이미지 스테고그래피에서 실패하는가?
• RQ2 고정된 통계를 사용하는 정규화 기법이 CNN 기반 스테고그래피 모델의 일반화 능력을 향상시킬 수 있는가?
• RQ3 쌍체가 없는 테스트 조건에서 공유 정규화는 배치 정규화보다 탐지 정확도와 안정성 측면에서 어떻게 비교되는가?
• RQ4 데이터 증강과 앙상블 학습은 SN 기반 스테고그래피 모델의 성능 향상에 어떤 역할을 하는가?
• RQ5 쌍체 데이터가 확보되지 않은 실제 스테고그래피 탐지 환경에서 SN 레이어를 갖춘 CNN 모델은 효과적으로 일반화될 수 있는가?

주요 결과

• 데이터 증강과 앙상블 학습을 모두 적용한 SN 기반 CNN 모델은 0.4 bpp에서 S-UNIWARD 스테고그래피에 대해 14.07%의 탐지 오차율을 기록한다.
• 데이터 증강만으로도 기준 모델의 16.53%에서 14.86%로 오차율이 감소하여 내구성 향상에 효과적임을 입증한다.
• 앙상블 학습만으로도 오차율이 16.79%로 감소하여 모델 평균화가 예측을 안정화시키는 데 기여함을 시사한다.
• 데이터 증강과 앙상블 학습의 조합이 개별 기법과 기준 모델을 모두 초월하는 최고의 성능을 내며, 통합적 효과를 보인다.
• 이론적 분석을 통해 배치 정규화는 쌍체가 없는 테스트 환경에서 통계적 이탈으로 인해 실패할 수 있으나, SN은 일관된 특징 구분을 유지함을 확인한다.
• 쌍체 테스트 데이터가 확보되지 않은 실제 환경에서 SN 레이어를 갖춘 모델은 표준 배치 정규화보다 훨씬 뛰어난 일반화 능력을 보인다.