[論文レビュー] HARMONIC: Harnessing LLMs for Tabular Data Synthesis and Privacy Protection

Yuxin Wang, Duanyu Feng+6 more|arXiv (Cornell University)|Aug 6, 2024

Advanced Data Storage Technologies被引用数 4

ひとこと要約

HARMONICは、k近傍法にインspiredされたプロンプト戦略を用いて、行間の関係性をモデル化することで、指示微調整済みの大規模言語モデル（LLM）を活用し、プライバシーを守った高品質な合成表形式データを生成する画期的なフレームワークを提案する。この手法は、下流のLLMタスクにおいて実データと同等のパフォーマンスを達成するとともに、プライバシー漏洩を顕著に低減する。DLP（データ漏洩テスト）およびLLE（LLM効率性）という新規メトリクスによる検証で裏付けられている。

ABSTRACT

Data serves as the fundamental foundation for advancing deep learning, particularly tabular data presented in a structured format, which is highly conducive to modeling. However, even in the era of LLM, obtaining tabular data from sensitive domains remains a challenge due to privacy or copyright concerns. Hence, exploring how to effectively use models like LLMs to generate realistic and privacy-preserving synthetic tabular data is urgent. In this paper, we take a step forward to explore LLMs for tabular data synthesis and privacy protection, by introducing a new framework HARMONIC for tabular data generation and evaluation. In the tabular data generation of our framework, unlike previous small-scale LLM-based methods that rely on continued pre-training, we explore the larger-scale LLMs with fine-tuning to generate tabular data and enhance privacy. Based on idea of the k-nearest neighbors algorithm, an instruction fine-tuning dataset is constructed to inspire LLMs to discover inter-row relationships. Then, with fine-tuning, LLMs are trained to remember the format and connections of the data rather than the data itself, which reduces the risk of privacy leakage. In the evaluation part of our framework, we develop specific privacy risk metrics DLT for LLM synthetic data generation, as well as performance evaluation metrics LLE for downstream LLM tasks. Our experiments find that this tabular data generation framework achieves equivalent performance to existing methods with better privacy, which also demonstrates our evaluation framework for the effectiveness of synthetic data and privacy risks in LLM scenarios.

研究の動機と目的

• 機密性の高い分野からの現実的でリアルな表形式データの生成を、プライバシーおよび規制上の制約から克服する挑戦に応える。
• LLMベースのデータ合成に内在するプライバシーリスク（訓練データの記憶および漏洩）を克服する。
• LLMが実データのインスタンスを記憶せずに、合成表形式データを生成できるフレームワークを開発する。
• 下流のLLMタスクにおけるパフォーマンスと合成データのプライバシーリスクを評価するための、特化した新規メトリクスを導入する。
• 適切に微調整および評価された場合、LLMベースの合成データが、有効かつプライバシー的に安全であることを実証する。

提案手法

• k近傍法（kNN）にインspiredされたプロンプト戦略に基づく、指示微調整用データセットを構築し、LLMが表形式データ内の行間関係を学習できるようにする。
• kNNに基づく指示データセット上で大規模LLMを微調整し、実データの値そのものではなく、データ構造と関係性を記憶させる。
• 微調整済みLLMを用いて、特徴レベルおよび行レベルの依存関係を保持したまま、自己回帰的にトークンを予測することで、合成表形式データを生成する。
• DLP（データ漏洩テスト）を新規メトリクスとして提案し、合成出力から実データを再構築する可能性を測定することで、プライバシーリスクを定量化する。
• LLM効率性（LLE）を新規メトリクスとして導入し、微調整や推論を含む下流のLLMタスクにおける合成データの有効性を評価する。
• 分類タスクを対象に、4つの実世界の表形式データセットにフレームワークを適用し、複数のベースラインと性能とプライバシーを比較する。

実験結果

リサーチクエスチョン

• RQ1 指示微調整済みLLMは、実データのインスタンスを記憶せずに、データ構造と関係性を保持したまま、合成表形式データを生成できるか？
• RQ2 再構築攻撃の下で、LLMが生成する合成データのプライバシーリスクは、従来の手法と比べてどの程度低いのか？
• RQ3 LLMが生成する合成データは、実データと比較して、下流のLLMタスクでどの程度のパフォーマンスを示せるか？
• RQ4 提案された評価メトリクスDLPおよびLLEは、LLMベースの合成表形式データにおけるプライバシーと有効性を効果的に定量化できるか？
• RQ5 kNNにインspiredされた微調整戦略は、ベースラインのLLM手法と比較して、合成データ生成の整合性と信頼性を向上させるか？

主な発見

• HARMONICが生成した合成データは、4つのデータセットにおいて平均5%未満のパフォーマンス低下で、下流のLLMタスクで実データと同等の性能を達成した。
• DIデータセットでは、LLE（LLM効率性）において実データのトレーニングセットを上回る性能を示し、下流タスクにおける強力な有効性を裏付けた。
• 全データセットで3つのプライバシーメトリクス（NRS、DCR、DLP）において、最高または2位のスコアを達成し、DLPスコアは顕著に低いデータ漏洩リスクを示した。
• GReaTやRTFと比較して、実行回数間でのパフォーマンスの標準偏差が低く、安定性に優れ、一貫性があり信頼性の高い生成を実現した。
• 従来の合成データ生成手法（SMOTEやTVAE）は、下流のLLMタスクで劣った性能を示し、LLMの微調整には不適切であることが示された。
• フレームワークの設計が本質的に再構築攻撃に耐性を持つ。攻撃者が1つのレコードを再構築するには、ほぼすべてのk近傍（k=5）が必要となるが、GReaTのような手法は部分的レコードの再構築に脆弱である。