[논문 리뷰] Federated TrustChain: Blockchain-Enhanced LLM Training and Unlearning

Xuhan Zuo, Minghao Wang외 5명|arXiv (Cornell University)|2024. 06. 06.

Cloud Data Security Solutions인용 수 4

한 줄 요약

이 논문은 블록체인 기반의 연합 학습 프레임워크인 Federated TrustChain를 제안한다. 이는 대규모 언어 모델(Large Language Models, LLMs)의 투명하고 책임감 있는, 효율적인 삭제(unlearning)를 가능하게 한다. 허가된 블록체인 기반의 무결성 기록을 위해 Hyperledger Fabric를 활용하고, 조정된 초모수를 가진 저랭크 적응(Low-Rank Adaptation, LoRA)을 사용함으로써, 재학습에서부터의 성능과 유사한 삭제 성능을 달성한다. IMDB에서는 정확도가 0.05% 감소하였고, Twitter에서는 0.19% 감소하여 낮은 계산 오버헤드를 유지하면서도 뛰어난 성능을 보였다.

ABSTRACT

The development of Large Language Models (LLMs) faces a significant challenge: the exhausting of publicly available fresh data. This is because training a LLM needs a large demanding of new data. Federated learning emerges as a promising solution, enabling collaborative model to contribute their private data to LLM global model. However, integrating federated learning with LLMs introduces new challenges, including the lack of transparency and the need for effective unlearning mechanisms. Transparency is essential to ensuring trust and fairness among participants, while accountability is crucial for deterring malicious behaviour and enabling corrective actions when necessary. To address these challenges, we propose a novel blockchain-based federated learning framework for LLMs that enhances transparency, accountability, and unlearning capabilities. Our framework leverages blockchain technology to create a tamper-proof record of each model's contributions and introduces an innovative unlearning function that seamlessly integrates with the federated learning mechanism. We investigate the impact of Low-Rank Adaptation (LoRA) hyperparameters on unlearning performance and integrate Hyperledger Fabric to ensure the security, transparency, and verifiability of the unlearning process. Through comprehensive experiments and analysis, we showcase the effectiveness of our proposed framework in achieving highly effective unlearning in LLMs trained using federated learning. Our findings highlight the feasibility of integrating blockchain technology into federated learning frameworks for LLMs.

연구 동기 및 목표

• 개인 정보 기반 기여가 검증하기 어려운 연합 LLM 학습 환경에서의 투명성과 책임감의 부족 문제를 해결하기 위해.
• 재학습에서부터 시작하지 않고도 특정 데이터 포인트를 효과적이고 검증 가능한 방식으로 삭제할 수 있도록 하기 위해.
• LLM의 연합 학습에 블록체인 기술을 통합하여 모델 업데이트 및 삭제 작업의 불변성, 추적 가능성, 감사 가능성 확보하기 위해.
• LoRA 초모수(랭크, 스케일링 인자, 드롭아웃)가 블록체인 감사 환경에서의 삭제 성능에 미치는 영향 평가하기 위해.
• 최소한의 성능 오버헤드로 블록체인 강화 연합 학습이 LLM에 대해 실현 가능하고 효율적인지 입증하기 위해.

제안 방법

• 프레임워크는 Hyperledger Fabric 기반의 블록체인 아키텍처를 사용하여 모든 모델 업데이트, 집계 단계, 삭제 작업을 무결성 보장된 분산 레거로 기록한다.
• 모델 미세조정 기법으로 저랭크 적응(Low-Rank Adaptation, LoRA)을 통합하여, 삭제 과정에서 낮은 랭크 행렬만 수정함으로써 효율적인 파라미터 업데이트를 가능하게 한다.
• 특정 데이터 기여와 관련된 LoRA 어댑터를 선택적으로 제거하거나 업데이트함으로써 삭제를 구현하며, 전반적인 모델 성능을 유지한다.
• Hyperledger Fabric의 승인 및 검증 프로세스를 통해 합의를 강제하여 모든 삭제 작업이 암호학적으로 검증 가능하고 감사 가능한 상태를 확보한다.
• LoRA의 초모수(랭크 r, 스케일링 인자 alpha, 드롭아웃 비율)를 체계적으로 평가하여 삭제 효과를 최적화한다.
• 성능 평가에 IMDB 및 Twitter 데이터셋을 사용하여, 삭제 정확도를 재학습에서부터의 성능과 비교하고, 에포크 단위의 시간 비용을 측정한다.

실험 결과

연구 질문

• RQ1 블록체인 기술의 통합이 연합 LLM 학습에서의 투명성과 책임감을 어떻게 향상시키는가?
• RQ2 LoRA 기반 삭제가 연합 환경에서 재학습에서부터의 성능과 얼마나 유사한 성능을 달성할 수 있는가?
• RQ3 LoRA 초모수(r, alpha, 드롭아웃)가 삭제 효과성과 삭제 후 모델 정확도에 어떤 영향을 미치는가?
• RQ4 블록체인 통합으로 인한 계산 오버헤드는 무엇이며, 특히 설정 시간, 트랜잭션 처리 시간, 에포크당 시간 측정 기준으로 어떻게 나타나는가?
• RQ5 블록체인 기반 시스템은 학습 과정을 방해하지 않으면서도 검증 가능하고 감사 가능한 삭제 작업을 보장할 수 있는가?

주요 결과

• IMDB 데이터셋에서 최적의 LoRA 설정(r=8, alpha=4, dropout=0.3)은 최종 정확도 0.70%를 달성하여 재학습에서의 0.65%와 매우 유사한 성능을 보여, 매우 효과적인 삭제를 입증했다.
• Twitter 데이터셋에서는 최적 설정(r=1, alpha=2, dropout=0.3)이 8.27%의 정확도를 달성하여 재학습의 8.08%와 비교해 매우 낮은 성능 저하를 보였다.
• 모델 업데이트 및 삭제 작업을 포함한 평균 트랜잭션 처리 시간은 3초로, LLM 관련 블록체인 트랜잭션을 효율적으로 처리함을 보여주었다.
• 에포크당 학습 시간은 삭제 작업이 있음에도 불구하고 안정적으로 28~30초 수준을 유지하여 성능 저하가 없음을 확인했다.
• 블록체인 설정 시간은 t=0 시점에 79초였고, 1000회 반복당 32.3초로 약간 증가하여 확장성과 관리 가능한 오버헤드를 입증했다.
• 프레임워크는 모든 기여 및 삭제 작업에 대해 무결성 보장된 기록을 생성하여 완전한 감사 가능성과 책임감을 확보했다.