[논문 리뷰] KART: Parameterization of Privacy Leakage Scenarios from Pre-trained Language Models

Yuta Nakamura, Shouhei Hanaoka외 6명|arXiv (Cornell University)|2020. 12. 31.

Privacy-Preserving Technologies in Data인용 수 6

한 줄 요약

이 논문은 사전 학습된 언어 모델에서의 프라이버시 누출 시나리오를 체계적으로 모델링하기 위해 지식(K), 익명화(A), 자원(R), 대상(T)의 네 가지 차원적 요소를 포함하는 사전 학습된 언어 모델의 프라이버시 누출 시나리오를 체계적으로 모델링하기 위한 KART라는 사차원 파arameterization 프레임워크를 제안한다. 표준화된 시나리오 정의를 통해 KART는 프라이버시 위험 평가의 비교 가능성과 이식 가능성을 향상시키며, 다양한 공격 조건 하에서 누출 위험의 상한선을 추정할 수 있게 한다. 실험적 검증을 통해 다양한 시나리오 쌍 간에 일관된 위험 여유가 존재함을 확인하였다.

ABSTRACT

For the safe sharing pre-trained language models, no guidelines exist at present owing to the difficulty in estimating the upper bound of the risk of privacy leakage. One problem is that previous studies have assessed the risk for different real-world privacy leakage scenarios and attack methods, which reduces the portability of the findings. To tackle this problem, we represent complex real-world privacy leakage scenarios under a universal parameterization, extit{Knowledge, Anonymization, Resource, and Target} (KART). KART parameterization has two merits: (i) it clarifies the definition of privacy leakage in each experiment and (ii) it improves the comparability of the findings of risk assessments. We show that previous studies can be simply reviewed by parameterizing the scenarios with KART. We also demonstrate privacy risk assessments in different scenarios under the same attack method, which suggests that KART helps approximate the upper bound of risk under a specific attack or scenario. We believe that KART helps integrate past and future findings on privacy risk and will contribute to a standard for sharing language models.

연구 동기 및 목표

• 사전 학습된 언어 모델의 프라이버시 위험 평가에서 표준화된 시나리오 정의의 부족을 해결하기 위해.
• 다양한 프라이버시 누출 연구 간의 결과 비교 가능성과 이식 가능성을 향상시키기 위해.
• 다양한 실제 공격 시나리오 하에서 프라이버시 위험의 상한선을 추정할 수 있도록 하기 위해.
• 미래의 위험 평가를 위한 유니버설 프레임워크를 제공하여 기존 연구의 메타 분석을 지원하기 위해.
• 언어 모델 공유를 위한 프라이버시 가이드라인 개발을 안내하기 위해.

제안 방법

• KART는 사전 지식(K), 대상 정보(T), 익명화(A), 보조 자원(R)의 네 가지 핵심 요소를 사용하여 프라이버시 누출 시나리오를 파arameter화한다.
• 각 시나리오는 K, A, R, T 값의 조합으로 표현되어 공격 조건의 체계적 분류를 가능하게 한다.
• 공격 방법을 고정하고 시나리오 파라미터만 변화시켜 서로 다른 시나리오 간의 위험을 직접 비교할 수 있도록 한다.
• 공격 방법에 따라 앵커 시나리오(예: K⁺A⁺R⁺)와 약화된 시나리오(예: K⁺A⁻R⁺) 간의 누출 비율 차이를 위험 여유로 계산하여 시나리오의 심각도를 평가한다.
• 기존 연구를 재분석하고 시나리오 쌍 간의 위험 추정 일관성을 검증하기 위해 이 방법을 적용한다.
• KART를 사용하여 가장 심각한 시나리오(K⁺A⁺R⁺)가 주어진 공격 방법 하에서 위험의 상한선 추정치로 신뢰할 수 있음을 입증한다.

실험 결과

연구 질문

• RQ1 사전 학습된 언어 모델에서의 프라이버시 누출 시나리오는 어떻게 체계적으로 파arameter화할 수 있을까? 이는 연구 간 비교성을 향상시키기 위한 것이다.
• RQ2 KART 프레임워크는 시나리오의 심각도를 관측된 프라이버시 누출 위험과 얼마나 잘 일치시키는가?
• RQ3 KART를 사용하여 주어진 공격 방법 하에서 프라이버시 위험의 상한선을 추정할 수 있는가?
• RQ4 이 프레임워크는 기존의 프라이버시 위험 평가를 메타 분석하는 데 어떻게 기여하는가?
• RQ5 일반화된 위험 지표는 다양한 프라이버시 누출 유형을 포괄하는 데 어떤 한계를 가지는가?

주요 결과

• 모든 테스트 케이스에서 앵커 시나리오와 약화된 시나리오 쌍 간의 위험 여유가 0 이상이었으며, 이는 시나리오의 심각도가 관측된 위험과 상관이 있음을 시사한다.
• K⁺A⁺R⁺ 시나리오는 일관되게 가장 높은 프라이버시 누출 비율을 기록하여, 주어진 공격 방법 하에서 위험의 상한선에 가까운 값을 제공함을 시사한다.
• K⁺A⁺R⁺와 K⁺A⁻R⁺ 시나리오 간의 작은 위험 여유는 가장 심각한 경우의 누출 중 상당 부분이 정확한 정보 복구가 아닌 무작위 추측에서 기인할 수 있음을 시사한다.
• KART는 기존 연구의 시나리오 가정을 재표현하고 명확화하여 그 다양성을 드러내고 해석 가능성을 향상시켰다.
• 이 프레임워크는 동일한 공격 조건 하에서 다양한 시나리오 간의 일관된 위험 비교를 가능하게 하여 결과의 이식 가능성을 향상시켰다.
• KART는 유니버설 위험 점수를 제공하지 않지만, 시나리오 인식 기반의 위험 평가를 위한 체계적인 방법을 제공하여 향후 모델 공유 분야의 표준화를 지원한다.