[논문 리뷰] Beyond Scale: The Diversity Coefficient as a Data Quality Metric for Variability in Natural Language Data

Brando Miranda, A. Lee외 5명|arXiv (Cornell University)|2023. 06. 24.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 대규모 언어 모델(Large Language Models, LLMs)의 사전 훈련 데이터셋에 대한 데이터 품질을 평가하기 위해 체계적이고 해석 가능한 지표로 다양성 계수(diversity coefficient)를 도입한다. 이는 규모를 넘어서는 접근이다. 미세조정된 GPT-2에서 Fisher 정보 매트릭스의 대각선을 기반으로 한 Task2Vec 임베딩을 사용하여, 공개된 LLM 데이터셋이 높은 공식적 다양성을 보임을 입증한다. 이는 잘 정당화된 이론적 한계와 해석 가능성 검증을 통해 확인되었으며, 이는 지표가 데이터 커버리지를 신뢰성 있게 캡처할 수 있음을 시사한다. 따라서 더 높은 품질의 다양한 훈련 데이터를 구성하는 데 도움이 될 수 있다.

ABSTRACT

Current trends in pre-training Large Language Models (LLMs) primarily focus on the scaling of model and dataset size. While the quality of pre-training data is considered an important factor for training powerful LLMs, it remains a nebulous concept that has not been rigorously characterized. To this end, we propose a formalization of one key aspect of data quality -- measuring the variability of natural language data -- specifically via a measure we call the diversity coefficient. Our empirical analysis shows that the proposed diversity coefficient aligns with the intuitive properties of diversity and variability, e.g., it increases as the number of latent concepts increases. Then, we measure the diversity coefficient of publicly available pre-training datasets and demonstrate that their formal diversity is high compared to theoretical lower and upper bounds. Finally, we conduct a comprehensive set of controlled interventional experiments with GPT-2 and LLaMAv2 that demonstrate the diversity coefficient of pre-training data characterizes useful aspects of downstream model evaluation performance -- totaling 44 models of various sizes (51M to 7B parameters). We conclude that our formal notion of diversity is an important aspect of data quality that captures variability and causally leads to improved evaluation performance.

연구 동기 및 목표

• LLM 사전 훈련에서 데이터 품질에 대한 공식적이고 정량적인 측정 기준이 부족한 문제를 해결하기 위해, 특히 데이터셋 규모를 넘어서는 영역에서.
• 특히 데이터 다양성에 기반한 공식적으로 정의되고 해석 가능한 지표를 통해 데이터 품질 논의의 기반을 마련하기 위해.
• 다양성 계수의 신뢰성과 의미를 검증하기 위해, 다양성의 직관적 성질과의 일치성을 테스트함으로써.
• 공개된 LLM 사전 훈련 데이터셋이 이론적 하한 및 상한과 비교했을 때 공식적으로 다양성이 높은가를 입증하기 위해.
• 실무자들이 데이터 컬렉션 과정에서 데이터 다양성을 평가하고 향상시키기 위한 실용적이고 접근 가능한 프레임워크를 제공하기 위해.

제안 방법

• 각 시퀀스 배치에 대해 사전 훈련된 GPT-2 모델을 다음 토큰 예측에 대해 미세조정한 후, Fisher 정보 매트릭스(FIM)의 대각선 요소를 사용해 Task2Vec 임베딩을 계산한다.
• FIM 대각선을 벡터 표현(Task2Vec 임베딩)으로 사용하여, 의미적 및 구조적 복잡성과 같은 내재된 데이터 특성을 캡처한다.
• 다양성 계수를 서로 다른 데이터 배치의 Task2Vec 임베딩 간의 쌍별 거리 함수로 계산하여 공식적 데이터 다양성을 정량화한다.
• 기호적 시퀀스 데이터에 대한 다양성 계수의 이론적 하한 및 상한을 설정하여 경험적 값의 맥락을 제공한다.
• 해석 가능성 실험을 수행: 데이터셋을 연결하거나, GINC 데이터셋을 통해 잠재 개념을 변화시키거나, 어휘 크기를 조정하여 다양성 계수의 행동을 테스트한다.
• 다른 모델과 무작위 네트워크를 사용해 복원력을 검증하였으며, 일관된 임베딩 방법을 사용하는 한 일관된 결과를 얻었다.

실험 결과

연구 질문

• RQ1 다양성 계수는 자연어 사전 훈련 데이터셋의 공식적 다양성에 대해 신뢰성 있고 체계적인 지표로 기능할 수 있는가?
• RQ2 다양성 계수는 데이터 소스 수나 잠재 개념 수를 늘리는 등의 직관적인 변화에 어떻게 반응하는가?
• RQ3 잘 정당화된 이론적 한계와 비교했을 때, 공개된 LLM 사전 훈련 데이터셋의 다양성 계수는 높은가?
• RQ4 다양성 계수로 측정된 공식적 데이터 다양성은 최종 모델 성능과 상관이 있는가?
• RQ5 다양성 계수는 단지 데이터 규모를 늘리는 것 외에도, 데이터 컬렉션 과정에서 실용적인 도구로 사용될 수 있는가?

주요 결과

• 공개된 LLM 사전 훈련 데이터셋에 대해 다양성 계수가 공식적으로 높으며, 잘 정당화된 이론적 하한 및 상한과의 비교를 통해 확인되었다.
• 다양한 출처의 사전 훈련 데이터셋을 연결할수록 다양성 계수가 증가하여, 데이터 출처 다양성에 민감함을 보였다.
• GINC 데이터셋에서 잠재 개념의 수가 증가할수록 다양성 계수가 증가하여, 다양성이 증가한다는 직관적 기대와 일치했다.
• 더 큰, 더 다양한 어휘 크기는 더 높은 다양성 계수를 초래하여, 언어적 풍부성에 대한 민감도를 추가로 검증했다.
• 다양성 계수와 모델 성능 간의 상관관계가 존재한다: 더 높은 다양성은 다양한 공식적 다양성을 가진 데이터셋에 대해 미세조정된 GPT-2 모델에서 더 낮은 교차 엔트로피 손실과 연관되어 있었다.
• 다양한 모델 아키텍처와 임베딩 방법(무작위 네트워크 포함)에서도 다양성 계수의 신뢰성은 유지되며, 일관된 방법을 사용하는 한 일관된 결과를 보였다.