[논문 리뷰] Simfluence: Modeling the Influence of Individual Training Examples by Simulating Training Runs

Kelvin Guu, Albert Webson외 4명|arXiv (Cornell University)|2023. 03. 14.

Topic Modeling인용 수 7

한 줄 요약

Simfluence는 개별 학습 예제의 影響를 스칼라 스코어가 아닌, 가상의 학습 시퀀스에서의 손실 경로를 예측하는 학습 실행 시뮬레이터를 통해 훈련 데이터 기여도(TDA)의 새로운 범주를 제안한다. 제안된 Simfluence-Linear 방법은 고정밀도로 이러한 경로를 시뮬레이션하기 위해 마르코프 과정을 사용하며, LLM 피니튜닝 작업에서 기존 TDA 방법 대비 스피어만 상관계수를 두 배로 높이고 평균제곱오차를 75% 감소시킨다.

ABSTRACT

Training data attribution (TDA) methods offer to trace a model's prediction on any given example back to specific influential training examples. Existing approaches do so by assigning a scalar influence score to each training example, under a simplifying assumption that influence is additive. But in reality, we observe that training examples interact in highly non-additive ways due to factors such as inter-example redundancy, training order, and curriculum learning effects. To study such interactions, we propose Simfluence, a new paradigm for TDA where the goal is not to produce a single influence score per example, but instead a training run simulator: the user asks, ``If my model had trained on example $z_1$, then $z_2$, ..., then $z_n$, how would it behave on $z_{test}$?''; the simulator should then output a simulated training run, which is a time series predicting the loss on $z_{test}$ at every step of the simulated run. This enables users to answer counterfactual questions about what their model would have learned under different training curricula, and to directly see where in training that learning would occur. We present a simulator, Simfluence-Linear, that captures non-additive interactions and is often able to predict the spiky trajectory of individual example losses with surprising fidelity. Furthermore, we show that existing TDA methods such as TracIn and influence functions can be viewed as special cases of Simfluence-Linear. This enables us to directly compare methods in terms of their simulation accuracy, subsuming several prior TDA approaches to evaluation. In experiments on large language model (LLM) fine-tuning, we show that our method predicts loss trajectories with much higher accuracy than existing TDA methods (doubling Spearman's correlation and reducing mean-squared error by 75%) across several tasks, models, and training methods.

연구 동기 및 목표

• 기존 TDA 방법이 덧셈형 영향을 가정하는 데서 비롯하는 한계를 해결하기 위해, 재복제성과 커리큘럼 효과와 같은 비가산적 상호작용을 포착하지 못한다는 점을 해결하기 위해.
• 학습 순서 변경 또는 예제 제거와 같은 반사적 학습 시나리오를 시뮬레이션할 수 있도록, 특정 테스트 예제에 대한 모델 손실이 어떻게 변화할지를 예측함으로써 사용자가 시뮬레이션할 수 있도록 하기 위해.
• 복잡한 학습 동역학을 잘 포착하면서도 계산 효율성을 유지하는 빠르고 해석 가능한 시뮬레이터를 개발하기 위해.
• TracIn 및 영향 함수와 같은 기존 TDA 방법을 특수한 경우로 포함시켜, 시뮬레이션 정확도를 통한 직접 비교가 가능하게 하기 위해.
• 특정 학습 시퀀스에 대한 반응으로 영향이 시간에 따라 어떻게 누적되는지 모델링함으로써 모델 행동의 해석 가능성을 향상시키기 위해.

제안 방법

• 학습 시퀀스의 시간적 손실 경로를 예측하는 학습 실행 시뮬레이터를 출력으로 내는 새로운 TDA 범주를 제안한다.
• 각 학습 예제당 두 개의 학습 가능한 파라미터인 $A_i$와 $B_i$를 사용하여, 영향력과 감쇠 효과를 캡처하는 마르코프 기반의 시뮬레이터인 Simfluence-Linear를 도입한다.
• 이전에 본 예제들로부터의 누적 영향력을 기반으로 각 단계에서의 손실을 모델링하며, 지수 감쇠가 적용된 영향 스코어의 선형 조합을 사용한다.
• 예측된 손실이 과거의 영향력에 감쇠 요소로 가중된 합산에 의존하는 시간 시리즈 공식화를 통해 시뮬레이터의 동역학을 유도한다.
• 특정 가정 하에서 TracIn 및 영향 함수가 Simfluence-Linear의 특수한 경우로 나타남을 입증하여 통합된 평가가 가능하게 한다.
• 각 예제에 대해 $A_i$와 $B_i$ 파라미터를 학습시키기 위해 관측된 학습 런을 기반으로 시뮬레이터를 훈련시켜, 밀리초 단위의 빠른 추론을 가능하게 한다.

실험 결과

연구 질문

• RQ1 학습 실행 시뮬레이터는 스칼라 영향 스코어보다 테스트 예제의 손실 경로 예측 정확도가 높을 수 있는가?
• RQ2 마르코프 기반 시뮬레이터는 학습 동역학에서 비가산적 상호작용인 재복제성과 커리큘럼 효과를 얼마나 잘 포착할 수 있는가?
• RQ3 TracIn 및 영향 함수와 같은 기존 TDA 방법들이 그들의 덧셈형 영향 가정으로 인해 실제 학습 동역학을 얼마나 잘못 모델링하는가?
• RQ4 Simfluence 범주가 학습 예제의 재정렬 또는 제거와 같은 반사적 학습 시나리오를 정확하게 시뮬레이션할 수 있는가?
• RQ5 다양한 LLM 피니튜닝 작업에서 Simfluence-Linear의 시뮬레이션 정확도는 기존 TDA 방법보다 어떻게 비교되는가?

주요 결과

• Simfluence-Linear는 여러 LLM 피니튜닝 작업에서 기존 TDA 방법 대비 손실 경로 예측의 평균제곱오차를 75% 감소시켰다.
• 예측된 손실 경로와 실제 손실 경로 간의 스피어만 상관계수를 두 배로 높여, 예측 정확도가 크게 향상됨을 나타낸다.
• Simfluence-Linear는 예제 노출로 인한 갑작스러운 변화를 반영하는 실제 학습 동역학을 반영한, 비연속적이고 피크가 있는 손실 경로도 성공적으로 포착한다.
• TracIn 및 영향 함수와 같은 기존 TDA 방법들은 Simfluence-Linear의 특수한 경우로 공식적으로 포함되며, 직접 벤치마킹이 가능해진다.
• 예측당 밀리초 단위로 실행되어, 학습 동역학의 상호작용 분석에 실용적이다.
• 이 방법은 실제 학습에서 많은 손실 변동이 예측 가능하며 무작위가 아니라는 점을 드러내며, 시뮬레이터가 예제 수준의 영향을 이해하고 있음을 보여준다.