[논문 리뷰] CALPA-NET: Channel-pruning-assisted Deep Residual Network for Steganalysis of Digital Images

Shunquan Tan, Weilong Wu외 4명|arXiv (Cornell University)|2019. 11. 12.

Advanced Steganography and Watermarking Techniques참고 문헌 46인용 수 5

한 줄 요약

CALPA-NET는 기존의 학습-자르기-보정 파이프라인을 버리고 과도하게 파rameter화된 딥 리소지드 스테가노그래피 분석 모델을 컴팩트하고 효율적인 모델로 변환하는 채널 자르기 보조 아키텍처 탐색 방법을 제안한다. 원래 모델의 2% 미만의 파라미터와 약 1/3의 FLOPs로도 유사한 스테가노그래피 성능을 달성하며, 다양한 데이터셋 간에 뛰어난 적응성과 확장성을 보여준다.

ABSTRACT

Over the past few years, detection performance improvements of deep-learning based steganalyzers have been usually achieved through structure expansion. However, excessive expanded structure results in huge computational cost, storage overheads, and consequently difficulty in training and deployment. In this paper we propose CALPA-NET, a ChAnneL-Pruning-Assisted deep residual network architecture search approach to shrink the network structure of existing vast, over-parameterized deep-learning based steganalyzers. We observe that the broad inverted-pyramid structure of existing deep-learning based steganalyzers might contradict the well-established model diversity oriented philosophy, and therefore is not suitable for steganalysis. Then a hybrid criterion combined with two network pruning schemes is introduced to adaptively shrink every involved convolutional layer in a data-driven manner. The resulting network architecture presents a slender bottleneck-like structure. We have conducted extensive experiments on BOSSBase+BOWS2 dataset, more diverse ALASKA dataset and even a large-scale subset extracted from ImageNet CLS-LOC dataset. The experimental results show that the model structure generated by our proposed CALPA-NET can achieve comparative performance with less than two percent of parameters and about one third FLOPs compared to the original steganalytic model. The new model possesses even better adaptivity, transferability, and scalability.

연구 동기 및 목표

• 과도하게 파rameter화된 딥 러닝 스테가노그래피 분석 모델의 높은 계산 및 저장 비용을 해결하기 위해.
• 모델 압축에서 표준 학습-자르기-보정 파이프라인의 한계를 극복하기 위해.
• 성능 저하 없이 모델 효율성을 향상시키는 비용 효율적이고 적응형 아키텍처 탐색 방법을 개발하기 위해.
• 다양한 스테가노그래픽 소스와 데이터셋 간의 모델 적응성, 이식성, 확장성 향상을 위해.

제안 방법

• ThiNet의 활성화 기반 채널 자르기와 L1-노름 필터 자르기를 조합한 하이브리드 자르기 기준을 도입하여 아키텍처 탐색을 유도한다.
• 기존의 세 단계 학습-자르기-보정 파이프라인을 버리고, 자른 아키텍처를 처음부터 직접 학습한다.
• 데이터 기반의 계층별 채널 자르기를 적용하여 구조적 감도와 활성화 감도에 따라 각 컨볼루션 레이어를 적응적으로 축소한다.
• 넓은 역피라미드 구조가 모델 다양성 원칙과 모순됨을 이론적으로 분석하여 아키텍처 단순화의 타당성을 뒷받침한다.
• 자르기에서 유도된 복잡도가 낮고 날씬한 브로드캐스트 아키텍처를 활용하여 모델 복잡도를 줄이면서도 탐지 능력을 유지한다.
• 자르기 기준을 학습 과정에 직접 통합하여 종단 간 효율성을 확보하는 새로운 네트워크 아키텍처 탐색 방법을 활용한다.

실험 결과

연구 질문

• RQ1 채널 자르기 보조 아키텍처 탐색 방법은 성능 저하 없이 딥 스테가노그래피 분석 모델의 복잡도를 효과적으로 줄일 수 있는가?
• RQ2 학습-자르기-보정 파이프라인을 폐기하면 스테가노그래피 분석 모델의 일반화 능력과 효율성이 향상되는가?
• RQ3 기존 스테가노그래피 분석 모델에 존재하는 넓은 역피라미드 구조는 진정으로 유익한가, 아니면 모델 다양성 원칙과 모순되는가?
• RQ4 처음부터 학습된 컴팩트하고 자른 아키텍처는 다양한 스테가노그래픽 소스와 데이터셋에 일반화될 수 있는가?
• RQ5 경쟁적인 탐지 정확도를 유지하면서 모델 크기와 FLOPs는 어느 정도까지 줄일 수 있는가?

주요 결과

• CALPA-NET는 BOSSBase+BOWS2 및 ALASKA 데이터셋에서 원래 모델의 2% 미만 파라미터로도 경쟁적인 스테가노그래피 성능을 달성한다.
• 자른 모델은 원래 스테가노그래픽 모델의 약 1/3 수준의 FLOPs로 줄였지만 탐지 정확도는 유지하거나 향상시켰다.
• 처음부터 학습된 CALPA-SRNet 아키텍처는 단지 76.3263×10⁴ 반복만에 최고의 검증 정확도에 도달하여, 보정된 베이스라인보다 훨씬 빠르게 학습을 완료했다.
• 모델은 뛰어난 적응성과 이식성을 보이며, 다양한 스테고 소스 조건에서도 보정된 모델을 능가하는 성능을 보였다.
• 이론적 분석을 통해 깊은 네트워크에서의 대규모 집합 연산이 희박한 주파수 성분을 억제함을 확인하여 아키텍처 단순화의 타당성을 뒷받침했다.
• 제안된 방법은 하나의 다용도 아키텍처를 여러 스테가노그래피 시나리오에서 처음부터 학습시킬 수 있게 해, 재학습이나 보정이 필요 없도록 했다.