[논문 리뷰] SecDD: Efficient and Secure Method for Remotely Training Neural Networks

Ilia Sucholutsky, Matthias Schonlau|arXiv (Cornell University)|2020. 09. 19.

Adversarial Robustness in Machine Learning참고 문헌 15인용 수 7

한 줄 요약

SecDD는 목표 네트워크 아키텍처와 무작위 가중치 초기화에 대해 정제된 이미지를 강하게 오버피팅함으로써 원격으로 신경망을 안전하고 효율적으로 훈련시키는 새로운 방법을 제안한다. 이 과정에서 생성된 합성 데이터는 랜덤 노이즈 또는 관련 없는 데이터처럼 보이며, 이는 신경망 아키텍처 검색(NAS)의 막대한 계산 비용으로 인해 역공학이 불가능해지게 한다. 이러한 합성 샘플은 개인정보 보호를 위해 고도로 오버피팅된 데이터를 기반으로 하여 고정밀도 훈련을 가능하게 하며, 이는 모델의 정확도를 유지하면서도 보안성을 확보한다.

ABSTRACT

We leverage what are typically considered the worst qualities of deep learning algorithms - high computational cost, requirement for large data, no explainability, high dependence on hyper-parameter choice, overfitting, and vulnerability to adversarial perturbations - in order to create a method for the secure and efficient training of remotely deployed neural networks over unsecured channels.

연구 동기 및 목표

• 전송된 데이터가 가로질러질 수 있는 비보안 채널을 통해 신경망을 안전하게 훈련시키는 문제를 해결하기 위해.
• 가로질린 데이터가 다른 모델을 훈련시키거나 민감한 정보를 드러내는 데 사용될 수 없도록 하면서도 전송 크기를 최소화하기 위해.
• 정제된 신경망 훈련 데이터의 본질적 모호성—즉, 합성 샘플이 랜덤한 노이즈처럼 보이는 것을 개인정보 보존 수단으로 활용하기 위해.
• 전송된 데이터로만 동일한 아키텍처와 초기화를 가진 네트워크만 효과적으로 훈련될 수 있도록 하는 방법을 설계하기 위해.
• 훈련 데이터 크기를 몇 개의 지수 단위로 줄임으로써 모델 정확도를 유지하면서도 효율성을 향상시키기 위해.

제안 방법

• 소프트 레이블 데이터 정제(SLDD)를 확장하여, 합성 이미지를 특정 목표 네트워크 아키텍처와 무작위 가중치 초기화에 대해 의도적으로 오버피팅한다.
• 정제 과정에서 고정된, 동결된 입력으로 랜덤 노이즈 또는 관련 없는 데이터셋 이미지를 사용하여 실제 데이터와 시각적으로 구분되지 않도록 한다.
• 이러한 고정된 이미지에 대해 역전파를 통해 소프트 레이블(로짓)을 학습시어, 의미적 내용이 없음에도 불구하고 목표 네트워크가 고정밀도를 달성하도록 한다.
• 클래스 혼합을 촉진하고 정제된 이미지의 식별 가능한 특징을 줄이기 위해 대체 레이블 초기화 전략을 활용한다.
• 작은 정제된 데이터셋에서 신경망 아키텍처 검색(NAS)의 계산 비용이 막대하여 공격자가 목표 모델을 역공학할 수 없도록 한다.
• 두 가지 모드를 지원한다: 하나는 랜덤 노이즈 초기화이고, 다른 하나는 관련 없는 데이터셋 이미지를 사용하는 것으로, 모두 데이터 의미를 은폐하도록 설계되어 있다.

실험 결과

연구 질문

• RQ1 랜덤한 노이즈처럼 보이지만 고정밀도로 목표 신경망을 훈련시킬 수 있는 합성 개인정보 보존 훈련 데이터를 생성할 수 있는가?
• RQ2 특정 네트워크 아키텍처와 초기화에 대해 오버피팅하는 것이, 비승인된 모델이 정제된 데이터로부터 학습하는 것을 방지하는 데 얼마나 효과적인가?
• RQ3 의미가 없는 또는 노이즈가 섞인 이미지를 정제 과정의 고정 입력으로 사용할 수 있는 정도는 어느 정도이며, 이로 인해 모델 성능에 어떤 영향을 미치는가?
• RQ4 다양한 레이블 초기화 전략이 정제된 이미지의 해석 가능성과 개인정보 보존에 어떤 영향을 미치는가?
• RQ5 작은 정제된 데이터셋에서 NAS의 계산 비용이 막대하여 실제로 모델 추출 공격에 대한 장벽이 될 수 있는가?

주요 결과

• SecDD는 MNIST에서 10장의 합성 훈련 세트를 생성하여, 이미지가 랜덤한 노이즈처럼 보여도 목표 네트워크의 정확도가 95% 이상을 달성하는 데 성공했다.
• SecDD의 정제된 이미지는 실제 MNIST 샘플과 유사하지 않으며, 시각적으로 관련 없는 데이터셋에 속해 있음을 나타내어, 모호성에 기반한 개인정보 보존을 강화한다.
• 고정된 이미지가 랜덤 노이즈 또는 관련 없는 데이터셋에서 초기화된 경우에도 모델은 높은 정확도를 달성하여 입력 의미에 대한 강건성을 입증한다.
• 완전한 데이터셋 대비 몇 개의 지수 단위로 전송 크기를 크게 줄여 효율성을 향상시켰다.
• 공격자가 목표 모델을 재구성하기 위해 계산적으로 불가능한 NAS를 수행해야 하므로 전송된 데이터의 개인정보 보존이 유지된다.
• 실험 결과, 작은 정제된 데이터셋에서는 NAS가 실패함을 확인하여, 현실적인 가정 하에 역공학이 비현실적임을 입증했다.