[논문 리뷰] Trusted AI in Multi-agent Systems: An Overview of Privacy and Security for Distributed Learning

Chuan Ma, Jun Li외 6명|arXiv (Cornell University)|2022. 02. 18.

Privacy-Preserving Technologies in Data인용 수 4

한 줄 요약

이 논문은 다중 에이전트 시스템 내 분산 기계학습에서의 프라이버시 및 보안 위험을 분석하기 위해 사전 처리된 데이터, 학습 모델, 추출된 지식, 중간 결과의 네 수준으로 구성된 프레임워크를 제안한다. 이 프레임워크는 각 수준에서의 위협과 방어 전략을 조사하며, 피어드 학습과 신뢰할 수 있는 AI에 중점을 두고 있으며, 안전하고 프라이버시를 보장하는 분산 AI를 위한 향후 연구 방향을 제시한다.

ABSTRACT

Motivated by the advancing computational capacity of distributed end-user equipments (UEs), as well as the increasing concerns about sharing private data, there has been considerable recent interest in machine learning (ML) and artificial intelligence (AI) that can be processed on on distributed UEs. Specifically, in this paradigm, parts of an ML process are outsourced to multiple distributed UEs, and then the processed ML information is aggregated on a certain level at a central server, which turns a centralized ML process into a distributed one, and brings about significant benefits. However, this new distributed ML paradigm raises new risks of privacy and security issues. In this paper, we provide a survey of the emerging security and privacy risks of distributed ML from a unique perspective of information exchange levels, which are defined according to the key steps of an ML process, i.e.: i) the level of preprocessed data, ii) the level of learning models, iii) the level of extracted knowledge and, iv) the level of intermediate results. We explore and analyze the potential of threats for each information exchange level based on an overview of the current state-of-the-art attack mechanisms, and then discuss the possible defense methods against such threats. Finally, we complete the survey by providing an outlook on the challenges and possible directions for future research in this critical area.

연구 동기 및 목표

• 분산 기계학습(DML)에서 탈중앙화된 엣지 디바이스 간의 증가하는 데이터 공유로 인한 프라이버시 및 보안에 대한 우려가 증가함에 따라 이를 해결하기 위함.
• 정보 교환의 네 가지 별도 수준인 사전 처리된 데이터, 모델, 지식, 중간 결과에서의 새로운 위협을 분석함으로써 식별하고 분류하기 위함.
• 다중 에이전트 학습 시스템에서 각 정보 교환 수준에 맞는 최신 공격 기법과 방어 기술을 조사하기 위함.
• 표준(예: GDPR, HIPAA, IEEE)과 윤리적 프레임워크가 분산 학습 환경에서 신뢰할 수 있는 AI를 가능하게 하는 데서 수행하는 역할을 검토하기 위함.
• 안전하고 프라이버시를 보장하며 신뢰할 수 있는 분산 AI 시스템을 구축하기 위한 열린 과제와 향후 연구 방향을 제시하기 위함.

제안 방법

• 정보 교환 단계에 따라 프라이버시 및 보안 위험을 분류하기 위한 혁신적인 네 수준 추상화 프레임워크를 제안함: 사전 처리된 데이터, 학습된 모델, 추출된 지식, 중간 계산 결과.
• 각 수준에서의 위협 모델을 분석함: 멤버십 추론, 모델 역전환, 모델 도용, 데이터 오염 공격 등으로, 피어드 학습과 다중 에이전트 협업에 중점을 두음.
• 차별적 프라이버시, 보안 집계, 동형 암호화, 적대적 훈련과 같은 방어 기법을 검토하며, 각 정보 교환 수준에서의 적용 가능성을 평가함.
• IEEE 표준(예: IEEE 3652.1-2020, IEEE P2089, IEEE 1363)과 규제 프레임워크(예: GDPR, HIPAA, NIST)가 안전하고 프라이버시를 보장하는 분산 학습을 가능하게 하는 데서 수행하는 역할을 평가함.
• IEEE P7000 시리즈를 통한 윤리적 시스템 설계 원칙을 통합하여 분산 AI 시스템의 책임 있는 개발을 이끌어내는 데 기여함.
• 결과를 종합하여 다중 에이전트 시스템에서의 신뢰할 수 있는 AI를 위한 실질적 구현 과제와 연구 격차에 중점을 둔 종합적 서베이로 정리함.

실험 결과

연구 질문

• RQ1 분산 기계학습에서 정보 교환의 다양한 단계에서 프라이버시 및 보안 위협은 어떻게 달라지나?
• RQ2 다중 에이전트 학습 시스템에서 네 가지 추상화 수준(데이터, 모델, 지식, 중간 결과)에서 가장 중요한 공격 벡터는 무엇인가?
• RQ3 각 정보 교환 수준에서 위협을 완화하는 데 가장 효과적인 방어 기법은 무엇이며, 그에 따른 상충 관계는 무엇인가?
• RQ4 기존의 표준 및 규제(예: IEEE, GDPR, HIPAA)는 신뢰할 수 있는 분산 AI 시스템 개발을 어떻게 지원하거나 제약하는가?
• RQ5 피어드 학습 및 분산 학습에서 강력한 프라이버시 및 보안를 달성하기 위한 핵심 과제와 향후 연구 방향은 무엇인가?

주요 결과

• 사전 처리된 데이터, 학습 모델, 추출된 지식, 중간 결과의 네 수준으로 구성된 프레임워크는 분산 기계학습에서의 프라이버시 및 보안 위험을 체계적으로 분류하고 분석할 수 있는 방법을 제공한다.
• 멤버십 추론 및 모델 역전환 공격는 모델 및 중간 결과 수준에서 가장 심각한 위협이 되며, 여기서 모델 파라미터와 기울기 정보가 민감한 정보를 泄露할 수 있다.
• 차별적 프라이버시와 보안 집계는 모델 수준에서 효과적인 방어 수단으로, 모델 역전환 및 멤버십 추론 공격의 위험을 감소시킨다.
• IEEE 3652.1-2020는 분산 시스템 전반에서 프라이버시, 보안, 규제 준수를 보장하는 표준화된 아키텍처 프레임워크를 제공한다.
• GDPR 및 HIPAA와 같은 규제 프레임워크는 데이터 처리 및 동의에 엄격한 요구사항을 부과하며, 이는 시스템 설계 및 위협 완화 전략에 직접적인 영향을 미친다.
• 다양한 진전에도 불구하고, 특히 실시간 및 대규모 다중 에이전트 환경에서 모델의 유용성, 효율성, 프라이버시를 균형 있게 유지하는 데 상당한 과제가 남아 있다.