[논문 리뷰] DataInf: Efficiently Estimating Data Influence in LoRA-tuned LLMs and Diffusion Models

Yongchan Kwon, Eric Hsiao‐Kuang Wu외 2명|arXiv (Cornell University)|2023. 10. 02.

Topic Modeling인용 수 5

한 줄 요약

DataInf는 대규모 언어 모델(Large Language Models, LLMs) 및 LoRA로 미세조정된 확산 모델에 대해 계산적으로 효율적이고 폐쇄형 해법을 제공하는 影響도 추정 방법을 제안한다. 유창한 분석적 수식을 활용하여 기존 방법 대비 수개의 속도 향상을 이룩하면서도 영향력 있는 학습 데이터 포인트 식별 및 잘못 레이블링된 예측치 탐지에서 높은 정확도를 유지한다.

ABSTRACT

Quantifying the impact of training data points is crucial for understanding the outputs of machine learning models and for improving the transparency of the AI pipeline. The influence function is a principled and popular data attribution method, but its computational cost often makes it challenging to use. This issue becomes more pronounced in the setting of large language models and text-to-image models. In this work, we propose DataInf, an efficient influence approximation method that is practical for large-scale generative AI models. Leveraging an easy-to-compute closed-form expression, DataInf outperforms existing influence computation algorithms in terms of computational and memory efficiency. Our theoretical analysis shows that DataInf is particularly well-suited for parameter-efficient fine-tuning techniques such as LoRA. Through systematic empirical evaluations, we show that DataInf accurately approximates influence scores and is orders of magnitude faster than existing methods. In applications to RoBERTa-large, Llama-2-13B-chat, and stable-diffusion-v1.5 models, DataInf effectively identifies the most influential fine-tuning examples better than other approximate influence scores. Moreover, it can help to identify which data points are mislabeled.

연구 동기 및 목표

• LLM 및 확산 모델과 같은 대규모 생성 모델에서 영향도 계산의 높은 계산 비용을 해결한다.
• LoRA와 같은 파rameter 효율적 미세조정 환경에 적합한 실용적인 영향도 추정 방법을 개발한다.
• 기존 방법이 비현실적인 대규모 모델에서 데이터 중심 분석(예: 잘못 레이블링된 데이터 탐지 및 영향력 있는 예제 식별)을 효과적으로 가능하게 한다.
• 반복적 또는 고비용 헤시안 행렬 계산을 피할 수 있는 이론적으로 탄탄한 폐쇄형 근사법을 제공한다.

제안 방법

• 헤시안 역행렬 계산이 필요 없도록 모델 기울기와 곡률 근사값을 기반으로 한 폐쇄형 영향도 점수 표현을 유도한다.
• 계산 효율성을 위해 저랭크 파ram터 업데이트 구조를 활용하는 LoRA로 미세조정된 모델에 대해 영향도 근사를 특별히 적용한다.
• 완전한 고유값 분해 없이도 영향도를 계산할 수 있도록 헤시안의 저랭크 근사를 사용한다.
• 데이터 재가중에 따른 매개변수 이동에 대한 일阶 근사를 활용하여 재학습 없이도 영향도를 신속하게 계산한다.
• LLM 및 확산 모델의 추론 파이프라인에 방법을 통합하여 대규모 영향도 점수 계산을 가능하게 한다.
• 이론적 오차 한계를 통한 검증을 통해 LoRA 미세조정 환경에서 강력한 성능을 보임을 확인한다.

Figure 3: Illustrative examples of most and least influential training data points discovered using DataInf across the text generation and text-to-image generation tasks performed with the Llama-2-13B-chat and stable-diffusion-v1.5 models. The most ( resp. least) influential data point has the large

실험 결과

연구 질문

• RQ1 LLM 및 확산 모델에서 영향도 추정을 위해 금지적인 계산 비용 없이도 정확한 결과를 도출할 수 있는가?
• RQ2 Hessian-free나 EK-FAC와 같은 기존 방법과 비교해 DataInf의 영향도 근사 품질은 속도와 정확도 측면에서 어떻게 다른가?
• RQ3 DataInf는 미세조정된 LLM 및 확산 모델에서 잘못 레이블링된 학습 예제를 어느 정도 정확하게 식별할 수 있는가?
• RQ4 DataInf는 모델 생성 작업에서 가장 영향력 있는 및 가장 영향력이 적은 학습 데이터 포인트를 효과적으로 복구할 수 있는가?
• RQ5 특히 LoRA와 같은 파rameter 효율적 미세조정 환경에서 영향도의 폐쇄형 근사는 얼마나 잘 작동하는가?

주요 결과

• Llama-2-13B-chat에서 여러 작업에 걸쳐 DataInf는 AUC가 1.000 ± 0.000에 가까운 near-perfect 성능을 기록하며 Hessian-free를 크게 앞서며 클래스 탐지 성능을 뛰어나게 한다.
• 텍스트에서 이미지 생성 작업에서 DataInf는 주제 생성에 대해 AUC 0.865 ± 0.000, 스타일 생성에 대해 AUC 0.820 ± 0.005를 기록하여 Hessian-free에 비해 큰 격차를 보이며 슈퍼어이르게 뛰어난 성능을 보였다.
• 문장 변환 작업에서 DataInf는 가장 영향력 있는 학습 예제를 99.8%의 리콜률로 식별하여 높은 검색 정확도를 입증했다.
• 최신 영향도 계산 알고리즘 대비 수개의 속도 향상을 이룩하여 LLM 및 확산 모델에 대한 실용적 구현을 가능하게 했다.
• 테스트 손실에 대해 비정상적으로 높은 영향을 미치는 데이터 포인트를 식별함으로써 DataInf는 잘못 레이블링된 데이터 포인트를 성공적으로 탐지했다.
• 이론적 분석을 통해 DataInf의 근사 오차가 LoRA 미세조정 설정에서 최소화됨을 확인하여, 특히 이러한 환경에 매우 적합함을 입증했다.

Figure 4: Examples of images used in the text-to-image generation task, along with before and after images from the LoRA fine-tuning of the stable-diffusion-v1.5 model.