[논문 리뷰] Quantifying Prediction Consistency Under Fine-Tuning Multiplicity in Tabular LLMs

Faisal Hamman, P. B. R. Dissanayake외 3명|arXiv (Cornell University)|2024. 07. 04.

Data Mining Algorithms and Applications인용 수 4

한 줄 요약

이 논문은 재학습하지 않고도 피취한 테이블형 LLM의 예측 안정성을 수량화하기 위해 새로운 일致성 지표를 도입한다. 임베딩 공간 내 국소 이웃을 샘플링하고 버니스타인 부등식을 활용함으로써, 높은 일치성 예측이 다양한 피취한 모델 버전에서 안정적으로 유지될 가능성이 높다는 확률적 보장을 제공한다. 이는 예측 신뢰도 점수보다 다중성 취약성을 더 잘 예측한다.

ABSTRACT

Fine-tuning LLMs on tabular classification tasks can lead to the phenomenon of fine-tuning multiplicity where equally well-performing models make conflicting predictions on the same input. Fine-tuning multiplicity can arise due to variations in the training process, e.g., seed, weight initialization, minor changes to training data, etc., raising concerns about the reliability of Tabular LLMs in high-stakes applications such as finance, hiring, education, healthcare. Our work formalizes this unique challenge of fine-tuning multiplicity in Tabular LLMs and proposes a novel measure to quantify the consistency of individual predictions without expensive model retraining. Our measure quantifies a prediction's consistency by analyzing (sampling) the model's local behavior around that input in the embedding space. Interestingly, we show that sampling in the local neighborhood can be leveraged to provide probabilistic guarantees on prediction consistency under a broad class of fine-tuned models, i.e., inputs with sufficiently high local stability (as defined by our measure) also remain consistent across several fine-tuned models with high probability. We perform experiments on multiple real-world datasets to show that our local stability measure preemptively captures consistency under actual multiplicity across several fine-tuned models, outperforming competing measures.

연구 동기 및 목표

• 동일한 정확도를 보이는 모델들이 훈련 변동으로 인해 서로 다른 예측을 내는, 테이블형 LLM에서의 피취한 다중성 문제를 체계적으로 정의한다.
• LLM에서 다중성을 평가하기 위해 여러 모델을 재학습하는 것이 비현실적이라는 문제를 해결한다.
• 재학습 없이도 예측 안정성을 수량화할 수 있는 계산 효율적인 지표를 개발한다.
• 피취한 모델 버전 간 예측 일치성에 대한 이론적 확률적 보장을 제공한다.

제안 방법

• 입력의 임베딩 공간 내 국소적 행동을 평가하기 위해, $ S_{k, ho}(x,f) = \frac{1}{k}\sum_{x_i \in N_{x,k}} \left( f(x_i) - |f(x) - f(x_i)| \right) $ 라는 일치성 지표를 제안한다.
• 입력 $ x $ 를 중심으로 반지름 $ \sigma $ 인 초구면에서 $ k $ 개의 점을 샘플링하여, 모델의 임베딩 공간을 활용해 이웃 영역을 탐색한다.
• 버니스타인 부등식을 사용해 확률적 안정성 보장을 유도한다: 높은 일치성은 다양한 피취한 모델 버전에서 예측 안정성이 높을 가능성이 높음을 의미한다.
• 실제 테이블 데이터셋에서 표준 다중성 지표(예: 임의성, 쌍별 불일치)와의 비교를 통해 일치성의 실증적 평가를 수행한다.
• 일치성 점수와 예측 확률을 비교하여, 다중성 취약 예측을 더 잘 식별함을 보여준다.
• 128-shot, 64-shot, 512-shot 설정에서 Adult, German Credit, Diabetes 데이터셋을 대상으로 방법을 검증한다.

Figure 1: ( a ) illustrates the process of fine-tuning LLMs for Tabular data using few labeled examples (Hegselmann et al., 2023 ; Dinh et al., 2022 ) . ( b ) demonstrates the concept of finetuning multiplicity. Models fine-tuned from the same pre-trained LLM under slightly varying conditions, such

실험 결과

연구 질문

• RQ1 유사한 성능을 보이는 피취한 테이블형 LLM이 다중성 예측을 보일 정도로 얼마나 자주 발생하는가?
• RQ2 한 개의 모델이 임베딩 공간에서의 국소적 행동이 피취한 다중성 취약성에 대한 신뢰할 수 있는 예측을 가능하게 하는가?
• RQ3 제안된 일치성 지표가 다중성 취약 예측을 식별하는 데 예측 신뢰도보다 얼마나 우수한가?
• RQ4 피취한 변동에 따른 예측 일치성에 대해 이론적 확률적 보장을 도출할 수 있는가?
• RQ5 실제로 일치성 지표는 재학습이 불필요한가? 그리고 예측 신뢰도보다 더 유의미한 정보를 제공하는가?

주요 결과

• 일치성 지표는 Pairwise Disagreement와 같은 다중성 지표와 강한 스피어만 상관관계(최대 0.96)를 보이며, 예측 확률보다 유의미하게 뛰어난 성능을 보였다.
• Adult 데이터셋에서 일치성은 임의성과 0.80의 상관관계를 보였고, 예측 신뢰도는 0.67에 그쳤다.
• 높은 예측 신뢰도가 낮은 다중성을 의미하지는 않는다. 일부 높은 신뢰도 예측에서도 피취한 모델 간 일관성이 낮게 나타났다.
• Diabetes 데이터셋에서 일치성은 예측 범위와 0.95의 상관관계를 보였으며, 이는 다중성 심각도와 강력한 일치를 의미한다.
• 버니스타인 부등식을 통한 이론적 보장은, 높은 일치성 예측이 다양한 피취한 버전에서도 높은 가능성을 가짐을 확인한다.
• 이 방법은 단일 모델과 국소 이웃에 대한 추론만으로도 재학습의 비용을 줄여, 다중성 평가를 가능하게 한다.

Figure 2: Evaluated multiplicity (assessed on $40$ retrained models) versus our consistency measure (evaluated on one model) for the 128-shot setting on the Adult dataset. The plots demonstrate that high consistency values correspond to low multiplicity across various multiplicity evaluation metrics