[논문 리뷰] Robust Data Hiding Using Inverse Gradient Attention

Honglei Zhang, Wang Hu외 3명|arXiv (Cornell University)|2020. 11. 21.

Advanced Steganography and Watermarking Techniques참고 문헌 30인용 수 14

한 줄 요약

이 논문은 메시지 임bedding을 위한 더 높은 내성성을 갖는 픽셀에 더 높은 주의 가중치를 동적으로 할당하기 위해 역기울기 주의(IGA)를 사용하는 엔드 투 엔드 딥 데이터 은닉 모델을 제안한다. 각 픽셀의 메시지 복원 목표 함수에 대한 기울기를 계산함으로써 IGA는 학습 가능한 파rameter를 도입하지 않고도 내성성이 높은 고주파 영역(예: 에지)을 식별한다. 이는 COCO 및 DIV2K 데이터셋에서 최신 기술 대비 뛰어난 내성성과 용량을 확보한다.

ABSTRACT

Data hiding is the procedure of encoding desired information into a certain types of cover media (e.g. images) to resist potential noises for data recovery, while ensuring the embedded image has few perceptual perturbations. Recently, with the tremendous successes gained by deep neural networks in various fields, the research on data hiding with deep learning models has attracted an increasing amount of attentions. In deep data hiding models, to maximize the encoding capacity, each pixel of the cover image ought to be treated differently since they have different sensitivities w.r.t. visual quality. The neglecting to consider the sensitivity of each pixel inevitably affects the model's robustness for information hiding. In this paper, we propose a novel deep data hiding scheme with Inverse Gradient Attention (IGA), combining the idea of attention mechanism to endow different attention weights for different pixels. Equipped with the proposed modules, the model can spotlight pixels with more robustness for data hiding. Extensive experiments demonstrate that the proposed model outperforms the mainstream deep learning based data hiding methods on two prevalent datasets under multiple evaluation metrics. Besides, we further identify and discuss the connections between the proposed inverse gradient attention and high-frequency regions within images, which can serve as an informative reference to the deep data hiding research community. The codes are available at: https://github.com/hongleizhang/IGA.

연구 동기 및 목표

• 딥러닝 기반 데이터 은닉에서 내성성, 미시적 영향, 용량 간의 상충 관계를 해결하기 위해 픽셀 수준의 주의를 민감도에 맞게 적응시키기.
• 기존 모델에서 블랙박스 주의 메커니즘의 한계를 극복하기 위해 기울기 기반의 설명 가능한 주의 메커니즘을 도입하기.
• 왜곡(예: JPEG, 블러링, 자르기)에 대한 내성성을 향상시키기 위해 내성성이 높은 픽셀을 식별하고 우선순위를 정하기.
• 대칭 메시지 인코딩 모듈을 통해 이진 메시지를 실수 값 잠재 공간으로 매핑함으로써 내성성은 유지하면서 임베딩 용량을 향상시키기.
• 역기울기 주의와 고주파 영역(예: 에지) 간의 내재적 연관성을 규명하여 향후 내성적인 데이터 은닉 설계를 안내하기.

제안 방법

• 메시지 복원 손실에 대한 각 픽셀 기여도의 기울기를 계산하는 가분리 기반 주의 메커니즘인 역기울기 주의(IGA)를 제안한다.
• 역기울기의 크기를 사용해 왜곡에 가장 저항력이 강하고 임베딩에 적합한 픽셀을 강조하는 주의 마스크를 생성한다.
• 엔코더-디코더 아키텍처 기반의 엔드 투 엔드 프레임워크에 IGA를 통합하여, 엔코더가 주의 가중 침범을 사용해 커버 이미지에 메시지를 임베딩한다.
• 이진 메시지를 저차원 실수 값 잠재 공간으로 매핑하는 대칭 메시지 인코딩 모듈을 구현하여 용량과 일반화 능력을 향상시킨다.
• IGA의 효과를 검증하기 위해 기준 비교로 소벨 에지 검출기를 사용한다.
• 정확한 메시지 복구를 보장하기 위해 복원 손실과 함께 GAN 기반의 적대적 손실을 사용해 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 기울기 기반 주의 메커니즘이 추가 학습 가능한 파rameter 없이도 딥 러닝 기반 데이터 은닉의 내성성을 향상시킬 수 있는가?
• RQ2 역기울기 주의 메커니즘이 에지와 같은 고주파 영역과 어떻게 관련이 있는가?
• RQ3 IGA를 통해 고주파 영역에 집중함으로써 히우리스틱 에지 검출(예: 소벨)보다 더 뛰어난 성능을 낼 수 있는가?
• RQ4 제안된 IGA 메커니즘이 JPEG 압축 및 블러링과 같은 일반적인 이미지 왜곡에 대해 어느 정도 내성성을 향상시키는가?
• RQ5 대칭 메시지 인코딩 모듈이 내성성은 유지하면서 임베딩 용량을 효과적으로 증가시킬 수 있는가?

주요 결과

• 제안된 IGA 모델은 COCO 및 DIV2K 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, 정체성 왜곡 조건 하에서 COCO에서 비트 단위 정확도 74.62%, DIV2K에서 62.26%를 기록하였다.
• 제거 분석 결과, 메시지 인코딩과 주의 모듈을 결합한 모델이 가장 뛰어난 성능(74.62% 및 62.26%)을 보였으며, 기본 모델(73.56% 및 58.04%)보다 유의미한 성능 향상을 보였다.
• IGA 기반 모델은 소벨 연산자를 사용한 모델보다 우수한 성능을 보이며, 고정된 에지 검출보다 기울기 기반 주의가 더 적응력 있고 효과적임을 시사한다.
• 시각화 결과 IGA 마스크와 고주파 영역(예: 에지) 간의 강한 일치를 확인하였으며, 내성성이 높은 픽셀이 주로 고주파 영역에 분포해 있음을 확인하였다.
• 모델은 다양한 왜곡 조건에서도 높은 내성성을 유지하였으며, JPEG 압축 및 블러링과 같은 도전적인 조건에서도 비트 단위 정확도가 항상 50% 이상을 유지하였다.
• 실증 결과는 고주파 영역이 시각적 왜곡에 저항력이 강하고 딥 네트워크의 결정에 선호되므로 데이터 은닉에 더 적합하다는 가설을 지지한다.