[논문 리뷰] On Hiding Neural Networks Inside Neural Networks

Chuan Guo, Ruihan Wu외 1명|arXiv (Cornell University)|2020. 02. 24.

Adversarial Robustness in Machine Learning참고 문헌 26인용 수 4

한 줄 요약

이 논문은 초과 모델 용량을 활용하여 공개된 캐리어 네트워크 내에 비밀 신경망을 숨기는 스테고그래픽 프레임워크인 TrojanNet을 제안한다. 훈련 중에 비밀 키를 사용해 네트워크 가중치를 순열화함으로써, 공개 및 비밀 작업을 감추어진 채로 동시에 훈련시킬 수 있으며, 키가 없을 경우 비밀 모델은 무작위와 계산적으로 구별 불가능해지고, 탐지가 NP-완전임을 증명한다.

ABSTRACT

Modern neural networks often contain significantly more parameters than the size of their training data. We show that this excess capacity provides an opportunity for embedding secret machine learning models within a trained neural network. Our novel framework hides the existence of a secret neural network with arbitrary desired functionality within a carrier network. We prove theoretically that the secret network's detection is computationally infeasible and demonstrate empirically that the carrier network does not compromise the secret network's disguise. Our paper introduces a previously unknown steganographic technique that can be exploited by adversaries if left unchecked.

연구 동기 및 목표

• 공개적으로 배포된, 보기에 무해한 캐리어 네트워크 내에 비밀 신경망을 숨기는 방법을 개발하는 것.
• 비밀 키를 알지 못하는 한 비밀 모델이 계산적으로 탐지 불가능하게 유지되도록 보장하는 것.
• 대규모 신경망의 초과 모델 용량을 활용하여 성능 저하 없이 공개 및 비밀 작업을 동시에 훈련하는 것.
• 숨겨진 모델 존재를 탐지하는 것이 이론적으로 NP-완전임을 증명하여 강력한 은폐성을 확보하는 것.
• 비밀 키가 없이도 숨겨진 모델을 추출할 수 없으며, 캐리어 네트워크가 두 작업 모두에서 높은 성능 유지를 보임을 경험적으로 입증하는 것.

제안 방법

• 비밀 키를 사용해 훈련 중에 네트워크 가중치의 특정 순열을 정의함으로써, 사전 훈련된 캐리어 네트워크 내에 숨겨진 신경망을 임베딩하는 방법이다.
• 캐리어 네트워크는 공개 작업을 수행하도록 훈련되며, 동시에 가중치 순열을 통해 비밀 작업도 학습한다. 두 작업 간에 공유된 특징은 없다.
• 비밀 모델은 비밀 키를 사용해 역순열을 적용함으로써만 추출되며, 이는 숨겨진 네트워크의 원래 가중치 구성으로 복원된다.
• 이 프레임워크는 과다 파rameter화된 신경망의 부족함을 활용하여 총 파arameter 수를 늘리지 않고도 비밀 모델을 임베딩한다.
• 이론적 분석에 따르면, 어떤 순열이 숨겨진 기능을 유도하는지 판단하는 것은 NP-완전 결정 문제이며, 이는 탐지의 계산적 비가능성을 보장한다.
• 경험적 검증은 CIFAR-10 및 CIFAR-100을 사용한 ResNet50에서 수행되었으며, 공개 및 비밀 작업 모두가 단일 작업 훈련 수준의 성능를 기록함을 보여주었다.

실험 결과

연구 질문

• RQ1 비밀 키 없이도 계산적으로 탐지 불가능한 방식으로 신경망을 다른 신경망 내에 숨길 수 있는가?
• RQ2 성능 저하 없이 하나의 네트워크로 공개 작업과 비밀 작업을 동시에 훈련시킬 수 있는가?
• RQ3 캐리어 모델 내에 숨겨진 신경망을 탐지하는 데 필요한 계산 복잡도는 얼마인가?
• RQ4 모델 용량은 임베딩 가능한 비밀 작업의 수와 개별 모델의 성능에 어떤 영향을 미치는가?
• RQ5 이 방법은 스테고그래피 이외의 응용, 예를 들어 모델 워터마킹 또는 저작권 보호에 활용될 수 있는가?

주요 결과

• 캐리어 모델 내에 숨겨진 신경망을 탐지하는 것은 NP-완전 결정 문제로 증명되어, 비밀 키 없이 탐지하는 것은 계산적으로 불가능하다.
• CIFAR-10 및 CIFAR-100에서 최대 10개의 다른 키를 사용해 훈련한 TRN50 모델은 각각 개별 모델 정확도가 1.5%와 2.9% 감소에 그쳐, 효율적인 가중치 공유를 보여준다.
• 비밀 키 없이도 숨겨진 모델의 성능는 무작위와 구별 불가능하며, 캐리어 네트워크는 공개 작업에서 높은 정확도를 유지한다.
• 이 방법은 파arameter 수 증가 없이도 공개 및 비밀 작업 모두에서 별도로 훈련한 모델 수준의 성능를 달성한다.
• 더 큰 모델인 TRN50는 더 작은 모델인 TRN18보다 훨씬 더 많은 비밀 모델을 임베딩할 수 있는 능력을 보이며, 초과 용량의 역할을 확인한다.
• 이 프레임워크는 서로 독립된 모델만큼 상관성이 낮은 숨겨진 모델 앙상블을 생성할 수 있어, 메모리 제약 하에서 성능 향상에 유용하다.