[논문 리뷰] Machine Learning Models Disclosure from Trusted Research Environments (TRE), Challenges and Opportunities

Esma Mansouri-Benssassi, S.N. Rogers외 3명|arXiv (Cornell University)|2021. 11. 10.

Artificial Intelligence in Healthcare and Education인용 수 4

한 줄 요약

이 논문은 민감한 건강 데이터가 처리되는 신뢰할 수 있는 연구 환경(TREs)에서 훈련된 기계학습 모델을 안전하게 공개하는 데 있어 핵심 과제를 다룹니다. 개인정보 유출 위험 요소로는 구성원 식별 공격 및 모델 역전환 공격 등을 밝히며, 차등적 비밀유지, 모델 정련, 보안 모델 공유 프로토콜 등의 대응 전략을 제안함으로써 건강 분야 AI 응용에서 데이터 프라이버시를 유지하면서도 책임감 있게 모델을 배포할 수 있도록 합니다.

ABSTRACT

Artificial intelligence (AI) applications in healthcare and medicine have increased in recent years. To enable access to personal data, Trusted Research environments (TREs) provide safe and secure environments in which researchers can access sensitive personal data and develop Artificial Intelligence (AI) and Machine Learning models. However currently few TREs support the use of automated AI-based modelling using Machine Learning. Early attempts have been made in the literature to present and introduce privacy preserving machine learning from the design point of view [1]. However, there exists a gap in the practical decision-making guidance for TREs in handling models disclosure. Specifically, the use of machine learning creates a need to disclose new types of outputs from TREs, such as trained machine learning models. Although TREs have clear policies for the disclosure of statistical outputs, the extent to which trained models can leak personal training data once released is not well understood and guidelines do not exist within TREs for the safe disclosure of these models. In this paper we introduce the challenge of disclosing trained machine learning models from TREs. We first give an overview of machine learning models in general and describe some of their applications in healthcare and medicine. We define the main vulnerabilities of trained machine learning models in general. We also describe the main factors affecting the vulnerabilities of disclosing machine learning models. This paper also provides insights and analyses methods that could be introduced within TREs to mitigate the risk of privacy breaches when disclosing trained models.

연구 동기 및 목표

• 신뢰할 수 있는 연구 환경(TREs)에서 훈련된 기계학습 모델을 공개함에 따라 발생할 수 있는 프라이버시 위험 요소를 특정하고 분석하는 것.
• 학습 데이터에 포함된 개인을 재식별할 수 있는 가능성이 있는 기계학습 모델의 취약점을 검토하는 것.
• TRE가 데이터 프라이버시를 훼손하지 않으면서도 기계학습 모델을 안전하게 공개할 수 있도록 실용적인 지침과 기술적 대응 전략을 제공하는 것.
• 기존 TRE 정책에는 아직 모델 공개를 다룰 수 있는 명확한 프레임워크가 부족한 점을 메우는 것.
• 프라이버시 보존 모델 공유 메커니즘을 구축함으로써 건강 분야에서 AI의 책임감 있는 구현을 지원하는 것.

제안 방법

• 프라이버시 보존 기계학습 분야의 기존 문헌을 조사하여 관련 위협 모델과 공격 표면을 식별하는 것.
• 훈련된 모델의 취약점을 구성원 식별 공격 및 모델 역전환 공격 등으로 분류하여 모델 공개 시 주요 위험 요소로 간주하는 것.
• 차등적 비밀유지, 모델 정련, 보안 모델 집계와 같은 기술적 대응 조치를 제안하여 정보 泄露 를 줄이는 것.
• 모델 아키텍처, 데이터 민감도, 액세스 제어가 모델 공개 위험에 미치는 영향을 분석하는 것.
• 프라이버시 위험 평가 기반으로 모델 공개를 평가하고 승인하기 위한 TRE용 거버넌스 및 기술 워크플로우를 제안하는 것.
• 위협 모델링을 TRE 정책 프레임워크에 통합하여 모델 공유의 프라이버시 영향을 평가하는 것.

실험 결과

연구 질문

• RQ1 TRE에서 훈련된 기계학습 모델을 공개할 경우 발생할 수 있는 주요 프라이버시 위협은 무엇인가요?
• RQ2 모델 아키텍처나 하이퍼파라미터와 같은 모델 고유의 요소가 데이터 泄露 위험에 어떻게 영향을 미치나요?
• RQ3 TRE에서 모델 공개 시 개인정보 유출 위험을 효과적으로 줄일 수 있는 기술적 및 정책적 메커니즘은 무엇인가요?
• RQ4 기존의 TRE 거버넌스 모델은 어떻게 개선되어 보안 모델 공유 프로토콜을 포함하게 할 수 있나요?
• RQ5 차등적 비밀유지나 정련과 같은 대응 기법을 적용할 경우, 모델의 유용성과 프라이버시 사이의 상충 관계는 어떻게 평가할 수 있나요?

주요 결과

• 훈련된 기계학습 모델은 구성원 식별 공격 및 모델 역전환 공격를 통해 학습 데이터에 대한 민감한 정보를 유출할 수 있습니다.
• 개인정보 유출 위험은 모델의 복잡성, 데이터 민감도, 보조 정보의 가용성에 의해 크게 영향을 받습니다.
• 차등적 비밀유지는 정보 유출를 줄이면서도 후속 작업에 필요한 모델 유용성을 유지하는 데 효과적입니다.
• 연합 학습 또는 암호화된 모델 전송과 같은 보안 모델 공유 프로토콜은 모델 공개 시 프라이버시를 향상시킬 수 있습니다.
• 현재의 TRE 정책는 모델 공개에 대한 표준화된 가이드라인이 부족하여 프라이버시 거버넌스의 심각한 격차를 드러냅니다.
• 기술적 보안 조치와 정책적 통제를 조합한 위험 기반 프레임워크는 건강 분야 AI에서의 책임감 있는 모델 공유를 위해 필수적입니다.