[論文レビュー] DataInf: Efficiently Estimating Data Influence in LoRA-tuned LLMs and Diffusion Models

Yongchan Kwon, Eric Hsiao‐Kuang Wu+2 more|arXiv (Cornell University)|Oct 2, 2023

Topic Modeling被引用数 5

ひとこと要約

DataInfは、大規模言語モデル（LLM）およびLoRAで微調整された拡散モデルにおける計算的に効率的で閉形式の影響推定手法を提案する。滑らかな解析的定式化を活用することで、従来の手法と比較して数個のオーダーの高速化を達成しながら、影響力のある学習データポイントの同定や誤ラベル例の検出において高い正確性を維持する。

ABSTRACT

Quantifying the impact of training data points is crucial for understanding the outputs of machine learning models and for improving the transparency of the AI pipeline. The influence function is a principled and popular data attribution method, but its computational cost often makes it challenging to use. This issue becomes more pronounced in the setting of large language models and text-to-image models. In this work, we propose DataInf, an efficient influence approximation method that is practical for large-scale generative AI models. Leveraging an easy-to-compute closed-form expression, DataInf outperforms existing influence computation algorithms in terms of computational and memory efficiency. Our theoretical analysis shows that DataInf is particularly well-suited for parameter-efficient fine-tuning techniques such as LoRA. Through systematic empirical evaluations, we show that DataInf accurately approximates influence scores and is orders of magnitude faster than existing methods. In applications to RoBERTa-large, Llama-2-13B-chat, and stable-diffusion-v1.5 models, DataInf effectively identifies the most influential fine-tuning examples better than other approximate influence scores. Moreover, it can help to identify which data points are mislabeled.

研究の動機と目的

• 大規模な生成モデル（LLMや拡散モデルなど）における影響関数計算の高い計算コストを解決すること。
• LoRAのようなパラメータ効率の良い微調整設定にスケーラブルな実用的な影響推定手法を開発すること。
• 従来の手法が非現実的である大規模モデルにおいて、誤ラベルデータの検出や影響力のある例の同定といったデータ中心の分析を効果的に行えるようにすること。
• 繰り返し計算や高価なヘッセ行列の逆行列計算を回避する理論的根拠に基づいた閉形式近似を提供すること。

提案手法

• ヘッセ行列の逆行列を必要としないように、モデル勾配と曲率の近似に基づいた閉形式の影響スコア式を導出する。
• 計算効率を高めるために、低ランクのパrameter更新構造を活用して、LoRAで微調整されたモデルに特化した影響近似を適用する。
• 完全な固有値分解を回避するために、ヘッセ行列の低ランク近似を用いることで、影響の計算を扱いやすくする。
• データ再重み付けにおけるパrameterシフトの1次近似を採用することで、再トレーニングを伴わずに高速な影響計算を実現する。
• LLMおよび拡散モデルの推論パイプラインにこの手法を統合し、大規模なスケールでの影響スコア算出を可能にする。
• 近似誤差の理論的境界を用いて手法を検証し、LoRA微調整設定下でも優れた性能を示すことを確認する。

Figure 3: Illustrative examples of most and least influential training data points discovered using DataInf across the text generation and text-to-image generation tasks performed with the Llama-2-13B-chat and stable-diffusion-v1.5 models. The most ( resp. least) influential data point has the large

実験結果

リサーチクエスチョン

• RQ1 大規模なLLMや拡散モデルにおいて、著しい計算コストを伴わずに正確な影響推定を達成できるか？
• RQ2 Hessian-free や EK-FAC といった既存手法と比較して、DataInf の影響近似の品質（速度と正確性の両面で）はどの程度優れているか？
• RQ3 DataInf は、微調整されたLLMおよび拡散モデルにおいて、誤ラベルの学習例をどの程度正確に同定できるか？
• RQ4 DataInf は、モデル生成タスクにおける最も影響力のあるおよび最も影響力のない学習データポイントを効果的に再取得できるか？
• RQ5 特にLoRAのようなパラメータ効率の良い微調整設定下で、影響の閉形式近似はどの程度の性能を示すか？

主な発見

• Llama-2-13B-chatにおいて、複数のタスクでAUCが1.000 ± 0.000に近い結果を達成し、Hessian-freeを著しく上回る性能を示した。
• テキストから画像への生成タスクでは、対象生成においてAUC 0.865 ± 0.000、スタイル生成においてAUC 0.820 ± 0.005を達成し、Hessian-freeを大きく上回った。
• 文書変換タスクにおいて、最も影響力のある学習例を99.8％のリCALLレートで同定し、高い再取得正確性を示した。
• 最先端の影響計算アルゴリズムと比較して、数個のオーダーの高速化を達成しており、LLMおよび拡散モデルにおける実用的導入を可能にした。
• 異常に高い影響がテスト損失に与えられるデータポイントを特定することで、誤ラベルデータポイントの検出に成功した。
• 理論的分析により、DataInfの近似誤差がLoRA微調整設定で最小化されることを確認し、特にこのような設定に最適であることが示された。

Figure 4: Examples of images used in the text-to-image generation task, along with before and after images from the LoRA fine-tuning of the stable-diffusion-v1.5 model.