[논문 리뷰] Targeted Attack on GPT-Neo for the SATML Language Model Data Extraction Challenge

Ali Al-Kaswan, Maliheh Izadi외 1명|arXiv (Cornell University)|2023. 02. 13.

Adversarial Robustness in Machine Learning인용 수 4

한 줄 요약

이 논문은 SATML2023 언어 모델 훈련 데이터 추출 도전 대회에서 GPT-Neo를 대상으로 한 두 단계의 타겟팅 데이터 추출 공격을 제시한다. 먼저 대조적 검색(contrastive search)을 사용하여 50토큰 접두사에서 후행어휘 후보를 최대한 포함하도록 추론하고, 이후 AutoSklearn 기반의 멤버십 추론 공격을 적용하여 높은 정밀도로 정확한 후행어휘를 선별한다. 이 방법은 10%의 거짓 양성률에서 재현율(recall)이 0.405에 도달하며, 기준점 대비 34% 향상된 성능을 기록한다.

ABSTRACT

Previous work has shown that Large Language Models are susceptible to so-called data extraction attacks. This allows an attacker to extract a sample that was contained in the training data, which has massive privacy implications. The construction of data extraction attacks is challenging, current attacks are quite inefficient, and there exists a significant gap in the extraction capabilities of untargeted attacks and memorization. Thus, targeted attacks are proposed, which identify if a given sample from the training data, is extractable from a model. In this work, we apply a targeted data extraction attack to the SATML2023 Language Model Training Data Extraction Challenge. We apply a two-step approach. In the first step, we maximise the recall of the model and are able to extract the suffix for 69% of the samples. In the second step, we use a classifier-based Membership Inference Attack on the generations. Our AutoSklearn classifier achieves a precision of 0.841. The full approach reaches a score of 0.405 recall at a 10% false positive rate, which is an improvement of 34% over the baseline of 0.301.

연구 동기 및 목표

• 비타겟팅 공격와 모델의 기억력 간 격차를 해소하기 위해 타겟팅 공격을 개발하기 위해.
• 쉐이드 모델과 기본 모델에 대한 접근이 불가능한 블랙박스 환경에서 데이터 추출의 재현율을 향상시키기 위해.
• GPT-Neo에서 정확한 후행어휘 복구를 최대화하기 위해 다양한 디코딩 전략과 분류기 모델의 효과를 평가하기 위해.
• 언어 모델의 데이터 추출을 위한 멤버십 추론에서 재현율과 거짓 양성률 간의 트레이드오프를 최적화하기 위해.
• 피팅 또는 프롬프트 편집 없이도 실용적이고 효율적인 공격 파이프라인을 구현하기 위해.

제안 방법

• 공격는 두 단계의 접근 방식을 사용한다: 첫 번째 단계에서 GPT-Neo는 재현율을 극대화하기 위해 대조적 검색을 사용하여 각 50토큰 접두사당 여러 후행어휘 후보를 생성한다.
• 두 번째 단계에서 이진 멤버십 추론 분류기(AutoSklearn)가 신뢰도 기반으로 후보 어휘를 순위 매겨 가장 가능성 있는 정확한 후행어휘를 선별한다.
• 분류기의 특징는 TF-IDF 또는 Sentence-Transformers를 사용한 문장 임베딩에서 유도되며, AutoSklearn는 최적의 전처리 및 모델 파이프라인을 자동으로 선택한다.
• 공격는 10%의 거짓 양성률에서의 재현율을 평가 지표로 사용하며, 이는 상대적 오차 민감한 환경에서 정밀도와 재현율의 균형을 반영한다.
• 피팅 또는 프롬프트 편집을 회피하고, 효율성을 위해 표준 디코딩과 즉시 사용 가능한 머신러닝 파이프라인에 의존한다.
• 분류기는 생성된 어휘 후보와 훈련 데이터에 포함된지 여부에 따라 레이블링된 데이터를 기반으로 훈련되며, 블랙박스 보안 게임 프레임워크를 활용한다.

Figure 2 : Rank of correct prediction (if exists)

실험 결과

연구 질문

• RQ1 GPT-Neo에 대한 블랙박스 데이터 추출 공격에서 어떤 디코딩 전략이 정확한 후행어휘 생성의 재현율을 극대화하는가?
• RQ2 AutoSklearn 기반 멤버십 추론 분류기는 최소한의 거짓 양성률로 훈련 데이터 후행어휘와 비멤버를 얼마나 효과적으로 구분하는가?
• RQ3 TF-IDF와 Sentence-Transformers를 조합한 특징 공학 파이프라인은 데이터 추출 공격에서 분류기 성능을 향상시키는가?
• RQ4 공격 성능는 생성 단계와 분류 단계 중 어느 단계에 더 의존하는가?
• RQ5 제안된 공격는 10%의 거짓 양성률에서 기준점 대비 재현율은 어떻게 비교되며, 모델 선택과 특징 표현 방식의 영향은 무엇인가?

주요 결과

• 공격는 10%의 거짓 양성률에서 재현율 0.405를 기록하였으며, 기준점의 0.301보다 34% 향상된 성능이다.
• 대조적 검색은 정확한 후보 어휘 후보 수를 극대화하는 데 가장 효과적인 디코딩 전략으로 확인되었다.
• AutoSklearn 분류기는 로지스틱 회귀나 SVM 등 다른 모델보다 정밀도 0.841을 기록하며 뚜렷한 승리를 거두었다.
• Sentence-Transformers 임베딩을 사용함으로써 차원 수가 TF-IDF의 28,182에서 768로 감소하여 훈련 속도가 향상되었고 성능 손실는 미미했다.
• 공격 파이프라인은 생성 단계는 약 1시간(예: RTX 3080 사용)이 소요되고, MIA 단계는 몇 초 내로 완료되어 효율적이고 확장 가능한 구조를 가졌다.
• 검증 세트에서 재현율은 10%의 거짓 양성률에서 0.413에 도달하여 강력한 일반화 능력과 균형 잡힌 성능을 보였다.

Figure 3 : Permutation importance of features