[논문 리뷰] Towards an Accountable and Reproducible Federated Learning: A FactSheets Approach

Nathalie Baracaldo, Ali Anwar외 9명|arXiv (Cornell University)|2022. 02. 25.

Privacy-Preserving Technologies in Data인용 수 9

한 줄 요약

이 논문은 AI FactSheets에 검증 가능하고 위변조를 드러내는 사실을 통합하여 연합 학습(FL)에서 책임성과 재현 가능성을 보장하는 새로운 접근 방식인 AFˆ2 프레임워크를 소개한다. 기존의 FactSheets를 확장하여 분산된 FL 환경에서 동적이고 중첩된 사실, 복잡한 모델 조합을 지원함으로써 감사자가 구조화된 주장과 암호학적 증거를 통해 FL 프로세스를 검증하고 재현하며 인증할 수 있도록 한다.

ABSTRACT

Federated Learning (FL) is a novel paradigm for the shared training of models based on decentralized and private data. With respect to ethical guidelines, FL is promising regarding privacy, but needs to excel vis-à-vis transparency and trustworthiness. In particular, FL has to address the accountability of the parties involved and their adherence to rules, law and principles. We introduce AF^2 Framework, where we instrument FL with accountability by fusing verifiable claims with tamper-evident facts, into reproducible arguments. We build on AI FactSheets for instilling transparency and trustworthiness into the AI lifecycle and expand it to incorporate dynamic and nested facts, as well as complex model compositions in FL. Based on our approach, an auditor can validate, reproduce and certify a FL process. This can be directly applied in practice to address the challenges of AI engineering and ethics.

연구 동기 및 목표

• 규제 환경에서의 책임성 부족 문제를 해결하기 위해, 특히 준수, 감사, 신뢰가 핵심이 되는 분야에서의 적용을 목적으로 한다.
• 검증 가능하고 확실하며 인증 가능하고 위변조를 드러내는 주장으로 윤리 원칙인 투명성과 책임성을 연합 학습에서 실현하기 위해 형식화된 주장의 정의를 제공한다.
• 다양한 당사자와 변화하는 모델 상태를 포함하는 복잡한 FL 워크플로우를 지원하기 위해 AI FactSheets 패러다임을 확장한다.
• 모델 업데이트, 데이터 기원, 평가 지표의 구조화된 로깅을 통해 FL 프로세스의 종단 간 재현 가능성과 감사 가능성을 보장한다.
• 정부 서비스 및 헬스케어와 같은 분야에서의 실제 구현을 지원하는 실용적 구현 프레임워크를 제공한다.

제안 방법

• AFˆ2 프레임워크는 주장(예: 모델 업데이트, 데이터 크기)과 암호학적 증거(예: 해시 값, 타임스탬프)를 융합하여 위변조를 드러내는 사실을 형성함으로써 FL에 책임성을 통합한다.
• 동적이고 중첩된 사실을 지원하기 위해 AI FactSheets를 확장하여 라운드, 당사자, 모델 집계를 통해 변화하는 FL 상태를 표현할 수 있도록 한다.
• 검증 가능한 주장은 예를 들어 'aggregator attests sent_global_model(round, hash)'와 같은 형식적 술어로 표현되며, 저장된 증거에 기반해 자동으로 검증할 수 있다.
• 암호학적 서명과 합의 메커니즘을 통해 불가부정성(undecidability)을 확보하여 모든 당사자가 공유된 상태를 확인하도록 하며, 이로 인해 변칙이 FactSheet에서 탐지 가능해진다.
• 데이터, 모델 업데이트, 메타데이터의 암호학적 해시를 저장하여 위변조 탐지 기능을 실현함으로써 위변조 증거를 확보한다.
• 각 라운드에서 정확도, F1 점수 등의 세부 지표, 모델 아키텍처, 하이퍼파ram터를 로깅함으로써 감사 가능성을 지원하여 전체 프로세스 재구성 가능성을 확보한다.

실험 결과

연구 질문

• RQ1 어떻게 연합 학습 시스템에 체계적으로 책임성을 통합하여 거버넌스, 리스크, 준수(GRC) 기준을 준수할 수 있는가?
• RQ2 신뢰할 수 없는 당사자가 참여하는 탈중앙화된 FL 환경에서 검증 가능하고 확실하며 위변조를 드러내는 주장은 어떤 메커니즘으로 가능해지는가?
• RQ3 다양한 모델 업데이트와 데이터 소스를 포함하는 동적이고 중첩되며 복잡한 FL 워크플로우를 지원하기 위해 AI FactSheets는 어떻게 확장될 수 있는가?
• RQ4 구조화되고 암호학적으로 보호된 사실을 사용하여 얼마나 높은 수준의 FL 프로세스 재현 가능성과 감사 가능성을 확보할 수 있는가?
• RQ5 이 프레임워크는 정부 및 헬스케어와 같은 고위험 분야에서의 실제 구현을 어떻게 지원할 수 있는가?

주요 결과

• AFˆ2 프레임워크는 데이터 처리, 모델 업데이트, 평가 등 FL 라이프사이클 전 단계에서 검증 가능하고 확실하며 인증 가능하고 위변조를 드러내는 주장의 생성을 성공적으로 지원한다.
• 정부 활용 사례에서는 'Aggregator attests sent_global_model(3, "a68b0e5989a...")'와 같은 주장 및 'Aggregator attests evaluation_results(2, {"acc": 0.43734, ...})'와 같은 주장의 로깅과 검증을 통해 감사 가능성을 확보했다.
• 모델 업데이트의 검증 가능성을 확보하기 위해 학습 및 테스트 데이터의 해시 값과 같은 암호학적 증거에 주장을 유기적으로 연결함으로써 데이터 위변조 탐지 기능을 실현했다.
• 유일한 해시를 통한 상호 확인을 통해 불가부정성을 확보하였으며, 비준수 사항은 FactSheet에 명시적으로 기록되었다.
• 학습률(0.1), 에포크 수(1), 모델 아키텍처(Keras-CNN)와 같은 모든 핵심 파ram터를 로깅함으로써 FL 프로세스의 완전한 재현 가능성을 지원하였다.
• 실증 결과로 다수의 당사자와 여러 라운드(예: 10라운드, 5명의 당사자)를 포함하는 복잡한 FL 워크플로우가 FactSheet의 구조를 통해 체계적으로 문서화되고 감사될 수 있음을 입증했다.