[논문 리뷰] Spread-Transform Dither Modulation Watermarking of Deep Neural Network

Yue Li, Benedetta Tondi외 1명|arXiv (Cornell University)|2020. 12. 28.

Advanced Steganography and Watermarking Techniques참고 문헌 20인용 수 4

한 줄 요약

이 논문은 손실 함수 내에 측면 정보를 활용한 양자화된 상관관계 메커니즘을 통해 워터마크를 임bedding하는 Spread-Transform Dither Modulation (ST-DM) 기반의 새로운 DNN 워터마킹 방법을 제안한다. 이는 워터마크 수용량을 향상시키고 정확도 저하를 감소시킨다. 실험 결과, 기존의 스프레드 스펙트럼 워터마킹보다 더 높은 워터마크 수용량과 낮은 테스트 오차를 달성하면서도, 프루닝과 파인튜닝에 대해 강건성을 유지함을 보였다.

ABSTRACT

DNN watermarking is receiving an increasing attention as a suitable mean to protect the Intellectual Property Rights associated to DNN models. Several methods proposed so far are inspired to the popular Spread Spectrum (SS) paradigm according to which the watermark bits are embedded into the projection of the weights of the DNN model onto a pseudorandom sequence. In this paper, we propose a new DNN watermarking algorithm that leverages on the watermarking with side information paradigm to decrease the obtrusiveness of the watermark and increase its payload. In particular, the new scheme exploits the main ideas of ST-DM (Spread Transform Dither Modulation) watermarking to improve the performance of a recently proposed algorithm based on conventional SS. The experiments we carried out by applying the proposed scheme to watermark different models, demonstrate its capability to provide a higher payload with a lower impact on network accuracy than a baseline method based on conventional SS, while retaining a satisfactory level of robustness.

연구 동기 및 목표

• 상업적 및 분산형 AI 시스템에서 딥 뉴럴 네트워크(DNN) 지적재산권(IPR)을 보호할 급증하는 필요성을 해결한다.
• 기존의 스프레드 스펙트럼(SS) 워터마킹 방법이 자주 초래하는 높은 정확도 저하 또는 낮은 워터마크 수용량 용량의 한계를 극복한다.
• 측면 정보를 활용한 워터마킹 파рад림—특히 ST-DM—을 활용하여 워터마크의 두드러짐을 줄이고 임베딩 효율을 높인다.
• 일반적인 모델 공격, 예를 들어 파rameter 프루닝과 파인튜닝에 대해 강건성을 유지하면서도 고도로 신뢰할 수 있는 워터마크 추출 성능을 확보한다.
• ST-DM 기반 워터마킹이 이전의 SS 기반 접근법보다 워터마크 수용량, 정확도, 강건성 간의 더 나은 트레이드오프를 달성할 수 있음을 입증한다.

제안 방법

• 신경망 가중치와 의사난수 스프레딩 시퀀스 간의 상관관계를 강제로 유지하는 새로운 정규화 항을 DNN 학습 손실 함수에 도입하여, 워터마크 비트(0 또는 1)에 해당하는 양자화된 값으로 설정한다.
• 워터마크를 사전에 의사난수 스프레딩 시퀀스에 투영한 후 딜레이 모odulation을 적용함으로써 ST-DM 프레임워크를 적용하여 낮은 왜곡과 높은 강건성을 확보한다.
• 인터리브된, 균일하게 분포된 양자화기들을 사용하여 워터마크 비트 값(0 또는 1)을 표현함으로써, 측면 정보를 활용한 인formed 코딩을 통한 이진 워터마크 임베딩을 가능하게 한다.
• 다른 비트에 대해 서로 다른 스프레딩 시퀀스를 사용함으로써 다중 비트 워터마킹을 구현하고, 확장 가능한 워터마크 수용량 용량을 제공한다.
• 워터마크를 최적화 과정 중에 직접 임베딩하기 위해, 수정된 손실 함수를 사용해 DNN를 처음부터 학습시킨다.
• DM 및 ST-DM의 본질적 내성에 기반해 신호 왜곡, 특히 프루닝 및 파인튜닝 공격에 강건성을 확보한다.

실험 결과

연구 질문

• RQ1 ST-DM 기반 워터마킹은 DNN에서 기존의 스프레드 스펙트럼(SS) 워터마킹보다 더 높은 워터마크 수용량과 낮은 정확도 저하를 달성할 수 있는가?
• RQ2 제안된 ST-DM 방법은 파rameter 프루닝 공격에 대해 어떻게 성능을 보이며, 기준 SS 방법과 유사한 강건성을 유지하는가?
• RQ3 ST-DM를 통한 인formed 코딩 통합이 워터마크의 두드러짐을 감소시키면서도 고도의 워터마크 추출 신뢰성을 유지하는가?
• RQ4 프루닝 및 파인튜닝 공격 하에서 제안된 방법의 워터마크 수용량과 테스트 오차율 간의 트레이드오프는 어떠한가?
• RQ5 공격자가 워터마킹 체계를 알고 있을 경우, 제안된 방법이 워터마크 오버라이팅 공격을 저지할 수 있는가?

주요 결과

• 제안된 ST-DM 기반 워터마킹 방법은 Uchida 등이 제안한 SS 기반 방법보다 더 높은 워터마크 수용량과 낮은 테스트 오차율을 달성하여, 더 높은 효율성을 입증하였다.
• conv4 레이어에서 256비트 워터마크를 사용할 경우, W-DM-WRN은 70% 프루닝 수준에서도 BER이 0을 유지하며, W-WRN 역시 70% 프루닝까지 BER=0을 유지하여 유사한 강건성을 보였다.
• 30% 프루닝 수준에서 W-DM-WRN의 테스트 오차율(TER)은 8.87%이며, W-WRN은 8.99%로, 모두 기준 모델의 10% 프루닝 시 8.73%보다 유의미하게 낮았다.
• 256비트 워터마크 수용량을 가진 conv4 레이어에서 테스트 오차율이 기준 수준을 초과하는 최대 프루닝 비율은 20%이며, 다른 레이어에서는 10%이며, W-DM-WRN과 W-WRN 모두 비슷한 강건성을 보였다.
• 60% 이하의 프루닝 수준까지 BER이 모두 0으로 유지되어, 파rameter 제거에 대한 강력한 저항성을 보였다.
• 모든 테스트된 프루닝 수준까지 BER이 0으로 유지되어, 구조적 모델 수정 상황에서도 높은 신뢰성과 강건성을 확인하였다.