[논문 리뷰] Yedrouj-Net: An efficient CNN for spatial steganalysis

Mehdi Yedroudj, Frédéric Comby외 1명|arXiv (Cornell University)|2018. 02. 26.

Advanced Steganography and Watermarking Techniques참고 문헌 19인용 수 25

한 줄 요약

Yedroudj-Net는 공간 스테가노그래피를 위한 경량적이고 효율적인 CNN로, SRM 커널을 사용한 사전 처리 필터 백, 절단 활성화 함수, 배치 정규화와 스케일 레이어, 그리고 다섯 개인 컨볼루션 블록을 포함한 깊은 아키텍처를 결합하여 최신 기술을 초월한다. BOSSBase 데이터셋에서 0.2 bpp에서 RM+EC 기준선 대비 탐지 오류 확률을 16% 향상시켰으며(20.8%), 앙상블이나 데이터 증강 기법을 사용하지 않았다.

ABSTRACT

For about 10 years, detecting the presence of a secret message hidden in an image was performed with an Ensemble Classifier trained with Rich features. In recent years, studies such as Xu et al. have indicated that well-designed convolutional Neural Networks (CNN) can achieve comparable performance to the two-step machine learning approaches. In this paper, we propose a CNN that outperforms the state-ofthe-art in terms of error probability. The proposition is in the continuity of what has been recently proposed and it is a clever fusion of important bricks used in various papers. Among the essential parts of the CNN, one can cite the use of a pre-processing filterbank and a Truncation activation function, five convolutional layers with a Batch Normalization associated with a Scale Layer, as well as the use of a sufficiently sized fully connected section. An augmented database has also been used to improve the training of the CNN. Our CNN was experimentally evaluated against S-UNIWARD and WOW embedding algorithms and its performances were compared with those of three other methods: an Ensemble Classifier plus a Rich Model, and two other CNN steganalyzers.

연구 동기 및 목표

• 앙성 방법이나 복잡한 데이터 증강 기법에 의존하지 않고도 최신 기술을 뛰어넘는 단일이고 효율적인 CNN 아키텍처를 설계하는 것.
• 사전 처리 필터, 활성화 함수, 정규화와 같은 아키텍처 선택이 공간 도메인 이미지의 스테가노그래피 정확도에 미치는 영향을 조사하는 것.
• 훈련 데이터베이스 크기 증가와 가상의 데이터 증강이 CNN 수렴과 탐지 성능에 미치는 영향을 평가하는 것.
• 풍부한 모델을 사용한 전통적 앙상블 분류기와 비교해 잘 설계된 비앙상블 CNN이 뛰어난 성능을 낼 수 있음을 보여주는 것.
• 초기화 하이퍼파라미터에 민감하지 않고 전이 학습이나 가상 증강 없이도 안정적으로 수렴하는 네트워크의 강건성을 입증하는 것.

제안 방법

• 네트워크는 고정된 30개의 고역통과 필터를 사용하는 사전 처리 블록을 포함하며, 이 필터들은 SRM (공간 빈도 모델) 커널 세트에서 유래한 것으로, 고정된 가중치를 가진 5×5 컨볼루션 레이어로 적용되어 잡음 잔여물과 신호 대 잡음비를 향상시킨다.
• 다섯 개의 연속된 컨볼루션 블록을 사용하며, 각 블록은 3×3 또는 5×5 커널(더 깊은 블록에서는 더 작은 크기), 배치 정규화, 스케일 레이어를 조합하고, 컨볼루션에 바이어스를 사용하지 않는다.
• 블록 1에서만 절대값 활성화 함수를 사용하여 잡음 잔여물의 부호 대칭성을 유지함으로써 스테고 아티팩트의 통계 모델링을 향상시킨다.
• 최종 컨볼루션 블록 이후에 절단 활성화 함수를 적용하여 극단적인 값을 억제하고 특징의 강건성을 향상시킨다.
• 특징 맵은 평탄화되어 세 개인 완전 연결 레이어를 거치며, ReLU와 드롭아웃을 포함하고, 이중 분류(커버 대 스테고)를 위한 소프트맥스 레이어로 끝난다.
• 대규모 증강 데이터셋(BOSSBase와 BOWS2의 조합)을 기반으로 모델을 훈련시키며, 레이블 유지 회전 및 반전을 통한 가상의 데이터 증강을 통해 훈련 다양성을 증가시킨다.

실험 결과

연구 질문

• RQ1 앙성 방법이나 데이터 증강, 전이 학습에 의존하지 않고도 단일 비앙상블 CNN 아키텍처가 공간 스테가노그래피에서 최신 기술을 뛰어넘을 수 있는가?
• RQ2 고정된 SRM 필터 백 사전 처리 단계의 통합이 CNN 수렴과 탐지 정확도에 어떤 영향을 미치는가?
• RQ3 특히 다양한 출처의 이미지를 포함한 훈련 데이터베이스 크기 증가가 스테가노그래피 성능에 어느 정도 기여하는가?
• RQ4 절단 활성화 함수와 스케일 레이어가 있는 배치 정규화의 사용이 스테가노그래피 CNN의 강건성과 일반화 능력을 향상시키는가?
• RQ5 가상의 데이터 증강(회전 및 반전)이 딥 스테가노그래피 네트워크의 수렴 시간과 오류 확률에 어떤 영향을 미치는가?

주요 결과

• Yedroudj-Net는 BOSSBase 데이터셋에서 0.2 bpp에서 탐지 오류 확률을 20.8%로 줄였으며, 이는 RM+EC 기준선(36.5% 오류 확률) 대비 16% 향상된 결과이다.
• BOSSBase 단독 대비 BOSS+BOWS2로 훈련했을 때 오류 확률이 4% 감소했으며, 이는 Xu-Net(2% 감소)과 Ye-Net(7% 감소)를 모두 뛰어넘는 성능이다.
• 가상의 데이터 증강(BOSS+BOWS2+VA)을 적용했을 때 Yedroudj-Net은 BOSSBase 대비 오류 확률을 7% 감소시켰으며, Xu-Net은 오직 2% 향상되었고, Ye-Net은 11% 향상되었다.
• 모델는 안정적으로 수렴하며 하이퍼파라미터 초기화에 민감하지 않아 전이 학습이나 가상 증강 없이도 최상의 성능을 달성할 수 있다.
• SRM 사전 처리, 절단 활성화 함수, 스케일 레이어가 있는 배치 정규화의 조합이 네트워크의 뛰어난 성능을 이끌어내는 데 핵심적인 역할을 한다.
• 112,000개의 증강 훈련 쌍이 존재하는 상황에서도 여전히 향상 여건이 남아 있어, 스테가노그래피에서 더 깊은 CNN은 그 잠재력을 충분히 발휘하기 위해 상당히 큰 데이터셋이 필요함을 시사한다.