[논문 리뷰] DeepStego: Protecting Intellectual Property of Deep Neural Networks by Steganography

Zheng Li, Ge Han외 2명|arXiv (Cornell University)|2019. 03. 05.

Adversarial Robustness in Machine Learning참고 문헌 11인용 수 2

한 줄 요약

이 논문은 훈련 중에 소유권 지문을 딥 네트워크에 삽입함으로써 블랙박스 검증이 가능하면서 모델 성능 저하 없이 작동하는 스테고그래픽 워터마킹 기법인 DeepStego를 제안한다. 이 방법은 최소한의 정확도 영향을 미치면서도 강력하고 안전하며 법적으로 합리적인 지적재산권 보호를 실현한다.

ABSTRACT

Deep Neural Networks (DNNs) has shown great success in various challenging tasks. Training these networks is computationally expensive and requires vast amounts of training data. Therefore, it is necessary to design a technology to protect the intellectual property (IP) of the model and externally verify the ownership of the model in a black-box way. Previous studies either fail to meet the black-box requirement or have not dealt with several forms of security and legal problems. In this paper, we firstly propose a novel steganographic scheme for watermarking Deep Neural Networks in the process of training. This scheme is the first feasible scheme to protect DNNs which perfectly solves the problems of safety and legality. We demonstrate experimentally that such a watermark has no obvious influence on the main task of model design and can successfully verify the ownership of the model. Furthermore, we show a rather robustness by simulating our scheme in a real situation.

연구 동기 및 목표

• 훈련된 딥 네트워크(DNN)의 지적재산권(IP)을 보호하기 위한 안전하고 블랙박스 기반이며 법적으로 합리적인 방법의 부족을 해결하기 위해.
• 모델 정확도나 기능에 영향을 주지 않으면서 DNN 훈련 과정에 원활하게 통합될 수 있는 워터마킹 기법을 설계하기 위해.
• 모델의 피니튜닝, 프루닝 또는 기타 일반적인 모델 수정 후에도 워터마크가 탐지 가능하도록 보장하기 위해.
• 실제 환경에서의 구현을 고려할 때 보안 및 법적 요건을 모두 충족하는 솔루션을 제공하기 위해.

제안 방법

• 역전파 과정 동안 스테고그래픽 기법을 사용하여 소유권 워터마크를 딥 네트워크의 가중치에 직접 삽입하기.
• 표준 모델 평가에 대해 감지되지 않도록 내부 파rameter에 소유권 정보를 매핑하는 새로운 인코딩 전략 사용하기.
• 피니튜닝, 양자화, 프루닝과 같은 일반적인 모델 변형에 대해 저항력이 있는 워터마크 설계하기.
• 모델 내부 가중치에 대한 액세스 없이도 블랙박스 쿼리 메커니즘을 통해 워터마크를 추출할 수 있도록 보장하기.
• 원래 훈련 동역학과 손실 함수에 대한 변형을 최소화하여 모델 성능 유지하기.
• 엔드 투 엔드 훈련과 실제 공격 시뮬레이션을 통해 워터마크의 강건성과 탐지 가능성을 검증하기.

실험 결과

연구 질문

• RQ1 훈련 중에 DNN에 워터마크를 삽입할 수 있는가? 이 워터마크는 정확도 저하 없이 블랙박스 환경에서도 탐지 가능할까?
• RQ2 워터마크는 피니튜닝, 프루닝 또는 양자화와 같은 일반적인 모델 수정에 대해 얼마나 강건한가?
• RQ3 워터마킹 기법은 지적재산권 소유권 검증을 위한 보안 및 법적 정합성 요구사항을 유지하는가?
• RQ4 워터마킹 과정이 DNN이 훈련된 주요 작업 성능에 어느 정도 영향을 미치는가?

주요 결과

• 제안된 워터마킹 기법은 모델 정확도에 눈에 띄는 영향을 주지 않으면서 훈련 중에 DNN에 소유권 정보를 성공적으로 삽입한다.
• 다양한 모델 변형 후에도 워터마크가 탐지 가능함을 입증하여 실제 환경에서의 강건성을 입증한다.
• 블랙박스 쿼리를 통해 소유권 검증이 가능하여 실용적이고 안전한 지적재산권 보호 요구사항을 충족한다.
• 이 기법은 이전 접근 방식의 한계를 극복하며 보안, 법적 합리성, 실용성의 세 가지 요소를 동시에 고려한 최초의 기법이다.
• 실험 결과 워터마킹 과정이 주 학습 과제에 대한 모델 성능을 저하시키지 않음을 확인하였다.
• 불가지각성과 탐지 가능성 사이의 균형을 이루어 실생활 구현에 적합하다.