[논문 리뷰] GRAIMATTER Green Paper: Recommendations for disclosure control of trained Machine Learning (ML) models from Trusted Research Environments (TREs)

Emily Jefferson, James Liley외 17명|arXiv (Cornell University)|2022. 09. 21.

Artificial Intelligence in Healthcare and Education인용 수 5

한 줄 요약

이 논문은 신뢰할 수 있는 연구 환경(Trusted Research Environments, TREs)에서 배포된 기계학습 모델의 유출 제어를 위한 종합적인 권고 사항을 제시한다. 이는 모델 출력 및 메타데이터를 통한 민감한 데이터 유추 위험을 다루며, GRAIMATTER 프로젝트에서 개발한 프레임워크는 건강 및 공공 서비스와 같은 데이터 민감도가 높은 분야에서 책임감 있는 AI 모델 공유를 가능하게 하면서도 프라이버시 누출을 최소화하기 위한 실용적 조치를 제안한다.

ABSTRACT

TREs are widely, and increasingly used to support statistical analysis of sensitive data across a range of sectors (e.g., health, police, tax and education) as they enable secure and transparent research whilst protecting data confidentiality. There is an increasing desire from academia and industry to train AI models in TREs. The field of AI is developing quickly with applications including spotting human errors, streamlining processes, task automation and decision support. These complex AI models require more information to describe and reproduce, increasing the possibility that sensitive personal data can be inferred from such descriptions. TREs do not have mature processes and controls against these risks. This is a complex topic, and it is unreasonable to expect all TREs to be aware of all risks or that TRE researchers have addressed these risks in AI-specific training. GRAIMATTER has developed a draft set of usable recommendations for TREs to guard against the additional risks when disclosing trained AI models from TREs. The development of these recommendations has been funded by the GRAIMATTER UKRI DARE UK sprint research project. This version of our recommendations was published at the end of the project in September 2022. During the course of the project, we have identified many areas for future investigations to expand and test these recommendations in practice. Therefore, we expect that this document will evolve over time. The GRAIMATTER DARE UK sprint project has also developed a minimal viable product (MVP) as a suite of attack simulations that can be applied by TREs and can be accessed here (https://github.com/AI-SDC/AI-SDC). If you would like to provide feedback or would like to learn more, please contact Smarti Reel (<strong>[e-mail]</strong>) and Emily Jefferson (<strong>[e-mail]</strong>). The summary of our recommendations for a general public audience can be found at DOI: 10.5281/zenodo.7089514

연구 동기 및 목표

• 신뢰할 수 있는 연구 환경(TREs)에서 배포된 기계학습 모델을 통해 민감한 개인 정보가 유추되는 증가하는 위험을 해결하기 위해.
• AI 모델 공유에 맞는 맞춤형 유출 제어 조치를 구현하기 위한 실용적이고 사용 가능한 권고 사항을 개발하기 위해.
• 데이터 보호 연구 환경에서 모델의 해석 가능성, 메타데이터 泄露, 모델 역전환 공격으로 인한 프라이버시 위협을 완화하기 위해.
• 의료, 법 집행 및 세제 분야에서 데이터 기밀성을 유지하면서도 안전하고 투명한 AI 연구를 지원하기 위해.
• 신뢰할 수 있는 데이터 환경에서의 모델 공개 제어 향후 연구 및 발전을 위한 기반을 마련하기 위해.

제안 방법

• 저자들은 모델 역전환, 멤버십 추론 및 모델 추출 공격에 초점을 맞춘, TREs에서 모델을 배포할 때 발생하는 프라이버시 위험에 대한 다학제적 분석을 수행했다.
• 데이터 기원과 모델 복잡성 기반으로 모델 출력 및 메타데이터의 민감도를 평가하기 위한 위험 기반 프레임워크를 개발했다.
• 정보 泄露 를 제한하기 위해 모델 정제, 출력 편향, 액세스 제한과 같은 기술적 조치를 포함한 권고 사항을 제시했다.
• 모델 공개 과정의 준수 및 투명성을 보장하기 위해 거버넌스 및 감사 메커니즘을 프레임워크에 통합했다.
• 모델 공유 워크플로우에 프라이버시 우선 설계를 통합하기 위해 데이터 관리자, 연구자 및 프라이버시 책임자 간의 협업을 강조했다.
• 스테이크홀더 워크숍을 통해 권고 사항을 검증하였으며, 기존의 데이터 보호 기준 및 규정과 일치시켰다.

실험 결과

연구 질문

• RQ1 기계학습 모델이 신뢰할 수 있는 연구 환경(TREs)에서 공개될 때 어떤 구체적인 프라이버시 위험이 발생하는가?
• RQ2 TREs는 모델 출력 또는 메타데이터에서 개인의 재식별을 방지하기 위해 어떻게 효과적인 유출 제어 조치를 구현할 수 있는가?
• RQ3 민감한 데이터 환경에서 모델 역전환 및 멤버십 추론 공격의 위험을 줄이기 위해 어떤 기술적 및 거버넌스 메커니즘이 사용될 수 있는가?
• RQ4 신뢰할 수 있는 연구 환경에서 모델 공유를 어떻게 프라이버시 보장과 과학적 재현 가능성을 동시에 달성할 수 있는가?
• RQ5 현재 TRE 운영 방식에서 AI 모델 공개에 대한 주요 격차는 무엇이며, 이를 어떻게 보완할 수 있는가?

주요 결과

• 논문은 TREs에서 공개된 기계학습 모델이 학습 후에도 모델 출력, 기울기 및 메타데이터를 통해 민감한 개인 정보를 의도치 않게 폭 lộ할 수 있음을 밝혔다.
• 모델 역전환 및 멤버십 추론 공격은 특히 고차원의 민감한 데이터로 복잡한 모델을 훈련시킬 경우 심각한 위험을 초래한다.
• 제안된 권고 사항에는 출력 정제, 차별적 프라이버시 적용 및 액세스 제어 정책이 포함되어 있어 유출 위험을 감소시킨다.
• 프레임워크는 데이터 민감도와 모델 복잡성에 따라 맞춤형 조치가 필요한 위험 기반 접근의 필요성을 강조한다.
• 저자들은 현재 TRE 운영 방식이 AI 모델 공개를 위한 성숙한 조치를 갖추지 못해 데이터 보호 측면에서 심각한 격차가 존재한다고 지적한다.
• 권고 사항은 실제 테스트 및 구현 기반의 향후 개선을 기대하며 유연하고 반복 가능한 방식으로 설계되었다.