[論文レビュー] Federated TrustChain: Blockchain-Enhanced LLM Training and Unlearning

Xuhan Zuo, Minghao Wang+5 more|arXiv (Cornell University)|Jun 6, 2024

Cloud Data Security Solutions被引用数 4

ひとこと要約

本稿では、大規模言語モデル（LLMs）向けにブロックチェーンを統合したフェデレーテッドラーニングフレームワーク「Federated TrustChain」を提案する。このフレームワークにより、透明性、説明責任、および効率的なアンリーニング（学習の取消し）が可能となる。ハイパーエルブ・フラクチャーを用いた改ざん防止のログ記録と、最適化されたハイパーパramータを用いた低ランク適応（LoRA）を活用することで、再訓練から始めることと同等のアンリーニング性能を達成。IMDBでは0.05%、Twitterでは0.19%の精度低下に抑えられ、計算コストも低く抑えられる。

ABSTRACT

The development of Large Language Models (LLMs) faces a significant challenge: the exhausting of publicly available fresh data. This is because training a LLM needs a large demanding of new data. Federated learning emerges as a promising solution, enabling collaborative model to contribute their private data to LLM global model. However, integrating federated learning with LLMs introduces new challenges, including the lack of transparency and the need for effective unlearning mechanisms. Transparency is essential to ensuring trust and fairness among participants, while accountability is crucial for deterring malicious behaviour and enabling corrective actions when necessary. To address these challenges, we propose a novel blockchain-based federated learning framework for LLMs that enhances transparency, accountability, and unlearning capabilities. Our framework leverages blockchain technology to create a tamper-proof record of each model's contributions and introduces an innovative unlearning function that seamlessly integrates with the federated learning mechanism. We investigate the impact of Low-Rank Adaptation (LoRA) hyperparameters on unlearning performance and integrate Hyperledger Fabric to ensure the security, transparency, and verifiability of the unlearning process. Through comprehensive experiments and analysis, we showcase the effectiveness of our proposed framework in achieving highly effective unlearning in LLMs trained using federated learning. Our findings highlight the feasibility of integrating blockchain technology into federated learning frameworks for LLMs.

研究の動機と目的

• フェデレーテッドLLM学習における透明性と説明責任の欠如に起因する、個人情報の貢献が検証しにくい問題に対処すること。
• 再訓練から始めることなく、特定のデータポイントのアンリーニングを効果的かつ検証可能に行えるようにすること。
• LLMのフェデレーテッドラーニングにブロックチェーン技術を統合し、モデル更新およびアンリーニング行動の改ざん禁止性、追跡可能性、監査可能性を保証すること。
• LoRAのハイパーパramータ（ランク、スケーリング係数、ドロップアウト）が、ブロックチェーン監査環境下でのアンリーニング性能に与える影響を評価すること。
• 最小限のパフォーマンスオーバーヘッドで、ブロックチェーン拡張フェデレーテッドラーニングがLLMに実現可能で効率的であることを実証すること。

提案手法

• フレームワークは、ハイパーエルブ・フラクチャーを基盤として、改ざん防止の分散型レジストリに、すべてのモデル更新、集約ステップ、およびアンリーニング操作を記録するブロックチェーンアーキテクチャを採用している。
• 微調整手法として、低ランク適応（LoRA）を統合し、アンリーニング中に低ランク行列のみを変更することで、効率的なパラメータ更新を可能としている。
• アンリーニングは、特定のデータ貢献に関連するLoRAアダプタを、選択的に削除または更新することで実装され、グローバルモデルのパフォーマンスを維持する。
• ハイパーエルブ・フラクチャーのエンドースメントおよびバリデーションプロセスを通じて、合意形成を強化し、すべてのアンリーニング行動が暗号的に検証可能で監査可能であることを保証している。
• LoRAのハイパーパラメータ（ランク r、スケーリング係数 alpha、ドロップアウト率）の最適化を体系的に行い、アンリーニング効果を最大化している。
• 性能評価は、IMDBおよびTwitterデータセットを用い、アンリーニング精度を再訓練から始めることとの比較を行い、エポックごとの時間コストを測定している。

実験結果

リサーチクエスチョン

• RQ1 ブロックチェーン技術の統合が、フェデレーテッドLLM学習における透明性と説明責任をどのように向上させるか？
• RQ2 フェデレーテッド環境下で、LoRAベースのアンリーニングは、再訓練から始めることと同等のパフォーマンスをどの程度達成できるか？
• RQ3 LoRAのハイパーパラメータ（r、alpha、ドロップアウト）が、アンリーニング効果およびアンリーニング後のモデル精度に与える影響は何か？
• RQ4 ブロックチェーンをフェデレーテッドLLM学習およびアンリーニングに統合した際の計算オーバーヘッド、特にセットアップ時間、トランザクション処理時間、およびエポックごとの時間コストはどの程度か？
• RQ5 ブロックチェーンベースのシステムは、学習プロセスに支障をきたさずに、検証可能で監査可能なアンリーニング行動を保証できるか？

主な発見

• IMDBデータセットでは、最良のLoRA設定（r=8, alpha=4, dropout=0.3）が、再訓練から始めることの0.65%とほぼ同等の最終精度0.70%を達成し、非常に効果的なアンリーニングであることが示された。
• Twitterデータセットでは、最良の設定（r=1, alpha=2, dropout=0.3）が8.27%の精度を達成し、再訓練の8.08%と比較して、最小限のパフォーマンス低下に抑えられた。
• モデル更新およびアンリーニング操作を含む平均トランザクション処理時間は3秒であり、LLM関連のブロックチェーントランザクションを効率的に処理できることを示している。
• エポックごとのトレーニング時間は、アンリーニング操作が含まれても安定して28〜30秒を維持しており、顕著なパフォーマンス劣化がないことが示された。
• ブロックチェーンのセットアップ時間はt=0で79秒であったが、1000イテレーションごとにわずかに32.3秒に増加し、スケーラビリティと管理可能なオーバーヘッドを示している。
• フレームワークは、すべての貢献およびアンリーニング行動について改ざん防止で検証可能な記録を正確に作成し、完全な監査可能性と説明責任を実現した。