[논문 리뷰] Stealing Hyperparameters in Machine Learning

Binghui Wang, Neil Zhenqiang Gong|arXiv (Cornell University)|2018. 02. 14.

Adversarial Robustness in Machine Learning참고 문헌 51인용 수 53

한 줄 요약

이 논문은 학습된 모델 매개변수가 (거의) 최소점인 점을 이용해 목적 함수에 사용된 하이퍼파라미터를 추정하는 하이퍼파라미터 도난 공격을 소개하고, 이론 및 실험 평가를 다수 ML 알고리즘에 걸쳐 제공하는 일반 프레임워크를 제시합니다. 또한 라운딩을 방어로 평가하고 대응책을 논의합니다.

ABSTRACT

Hyperparameters are critical in machine learning, as different hyperparameters often result in models with significantly different performance. Hyperparameters may be deemed confidential because of their commercial value and the confidentiality of the proprietary algorithms that the learner uses to learn them. In this work, we propose attacks on stealing the hyperparameters that are learned by a learner. We call our attacks hyperparameter stealing attacks. Our attacks are applicable to a variety of popular machine learning algorithms such as ridge regression, logistic regression, support vector machine, and neural network. We evaluate the effectiveness of our attacks both theoretically and empirically. For instance, we evaluate our attacks on Amazon Machine Learning. Our results demonstrate that our attacks can accurately steal hyperparameters. We also study countermeasures. Our results highlight the need for new defenses against our hyperparameter stealing attacks for certain machine learning algorithms.

연구 동기 및 목표

• 교차 검증과 독점적 알고리즘으로 인한 ML의 하이퍼파라미터 기밀성 위험을 고무한다.
• 학습된 모델로부터 하이퍼파라미터를 추정하기 위한 일반적인 공격 프레임워크를 제안한다.
• 프레임워크가 선형/커널 및 일부 신경망 설정에 어떻게 적용되는지 보여준다.
• 공격 효율성에 대한 이론적 보장과 실증적 증거를 제공한다.
• 라운딩 기반 방어책을 평가하고 알고리즘 전반에 걸친 보안 영향에 대해 논의한다.

제안 방법

• 학습된 매개변수에서 목적 함수의 경사를 계산하고 이를 0으로 설정하여 하이퍼파라미터와 모델 매개변수 간의 관계식을 도출한다.
• 이 식들로부터 과다 결정된 선형 시스템을 구성하고 선형 최소제곱법으로 해를 구해 하이퍼파라미터를 추정한다.
• 비커널 알고리즘과 커널 알고리즘에 대해 각각 w 벡터 또는 alpha 벡터를 사용하여 접근 방식을 구분한다.
• 미분 불가능성에 대응하여 미분 가능한 차원/인스턴스를 사용해 a 벡터와 b 벡터를 구성한다.
• 필요에 따라 a 벡터를 행렬로 확장하여 다중 하이퍼파라미터로 프레임워크를 확장한다.

실험 결과

연구 질문

• RQ1 목적 함수의 하이퍼파라미터를 학습된 모델 매개변수로부터 정확하게 복구할 수 있는가?
• RQ2 공격 프레임워크가 선형, 커널 및 특정 신경망 설정에서 어떻게 적용되는가?
• RQ3 학습된 매개변수가 목적 함수의 정확한 최소점이거나 근사 최소일 때의 이론적 보장은 무엇인가?
• RQ4 하이퍼파라미터 도난에 대한 방어로서의 라운딩은 얼마나 효과적인가?
• RQ5 다른 정규화 항과 손실 함수가 이러한 공격에 대한 보안 속성에 영향을 미치는가?

주요 결과

• 학습된 매개변수가 정확한 최소점일 때 공격은 실제 하이퍼파라미터를 정확히 복구할 수 있다.
• 학습된 매개변수가 근사 최소일 때 추정 오차는 그 편차와 선형적으로 관련된다.
• 이 프레임워크는 릿지, LASSO, 커널 릿지, SVM 변형, 로지스틱 회귀 및 일부 신경망 컨텍스트에 적용되며 실제 데이터셋에서 실증적 성공을 보인다.
• 모델 매개변수를 라운딩하면 추정 오차가 증가하지만 일부 알고리즘(예: LASSO)에서는 라운딩에도 공격이 여전히 효과적이다.
• L2 정규화가 L1보다 이 공격에 대해 더 나은 보안을 제공하고, 일부 손실 함수(교차 엔트로피, 제곱 히지)가 히지 손실보다 더 나은 방어를 제공한다.
• 본 연구는 단순한 라운딩을 넘어선 새로운 대응책의 필요성을 강조한다.