[논문 리뷰] Large Language Models Suffer From Their Own Output: An Analysis of the Self-Consuming Training Loop
본 논문은 새로운 논리식 데이터세트를 사용하여 LLM의 자기-소모 학습 루프를 경험적으로 분석하고, 초기에는 정확성과 다양성이 증가하다가 결국 다양성이 붕괴되며, 붕괴 속도는 데이터 사이클 및 합성 데이터 비율에 따라 달라진다.
Large Language Models (LLM) are already widely used to generate content for a variety of online platforms. As we are not able to safely distinguish LLM-generated content from human-produced content, LLM-generated content is used to train the next generation of LLMs, giving rise to a self-consuming training loop. From the image generation domain we know that such a self-consuming training loop reduces both quality and diversity of images finally ending in a model collapse. However, it is unclear whether this alarming effect can also be observed for LLMs. Therefore, we present the first study investigating the self-consuming training loop for LLMs. Further, we propose a novel method based on logic expressions that allows us to unambiguously verify the correctness of LLM-generated content, which is difficult for natural language text. We find that the self-consuming training loop produces correct outputs, however, the output declines in its diversity depending on the proportion of the used generated data. Fresh data can slow down this decline, but not stop it. Given these concerning results, we encourage researchers to study methods to negate this process.
연구 동기 및 목표
- LLM이 자신의 출력으로 학습되도록 하는 자기소모 학습 루프의 연구를 동기화한다.
- 생성된 출력의 정확성 검증을 가능하게 하는 논리식 데이터세트를 도입한다.
- 생성에 따른 정확성과 다양성에 대해 서로 다른 데이터-사이클 설계가 미치는 영향을 평가한다.
- 향후 LLM 학습에서 자기 생성 데이터의 안전한 사용을 안내하는 지표와 인사이트를 제공한다.
제안 방법
- GPT-style 모델(nanoGPT)을 사용하여 10.6M 매개변수를 가진 자기소모 학습 루프를 시뮬레이션한다.
- 검증 기초 진실로서 10k 개의 참-논리식 데이터세트를 생성한다.
- 4가지 데이터-사이클 설계(전체 합성, 균형, 점진적, 확장)를 사용하여 최대 50세대까지 모델을 학습한다.
- 생성당 10k 표현식을 자동회귀 생성(temperature 0.8, 표현식당 최대 200 토큰)으로 샘플링한다.
- 구문적 타당성과 불리언 평가로 정확성을 측정하고, 토큰화된 표현식에 대한 레벤슈타인 다양성으로 다양성을 측정한다.
- 고정된 학습 설정을 사용한다: 6-layer, 6-head, 384-dim, context 256, batch 64, dropout 0.2, 5000 이터레이션, 학습률 1e-3에서 1e-4로 감소, 90/10 학습/검증 분할.
실험 결과
연구 질문
- RQ1자기소모 학습이 세대 간 LLM 출력의 의미론적 정확성을 개선하는가?
- RQ2데이터-사이클의 구성(전체 합성, 균형, 점진적, 확장)이 세대 간 정확성과 다양성에 어떤 영향을 미치는가?
- RQ3생성당 도입되는 합성 데이터의 양이 출력 다양성에 어떤 영향을 주는가?
- RQ4논리식 데이터세트를 사용하여 LLM 생성 출력을 엄격하게 검증할 수 있는가?
- RQ5자기소모 학습 루프에서 다양성이 붕괴하는 지점이 있는가?
주요 결과
- 데이터 사이클에 따라 세대 간 정확성이 향상되며, 전체 합성 사이클에서 더 빠르게, 다른 사이클에서는 slower하게 개선된다.
- 다양성은 처음 증가하다가 세대가 진행될수록 감소한다; 전체 합성 및 다수의 사이클은 결국 다양성을 한 지점으로 수렴시키고, 확장 사이클이 가장 느리게 저하된다.
- 점진적 사이클에서 합성 데이터 비중을 늘리면 다양성 손실이 가속화되고, 람다(lambda) 값이 클수록 붕괴가 빨리 일어나며, lambda=0.1은 다소 붕괴를 늦출 수 있다.
- 확장 데이터 사이클은 50세대까지 다양성의 감소가 보이지 않지만, 저자들은 개입 없이 결국 붕괴될 것으로 기대한다.
- 논리식 검증 접근법은 생성 출력에 대한 입증 가능한 정확도 검사를 제공하고, 전통적인 유사도 지표를 보완한다.
이 논문 읽기
누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.
누빈트에서 이 논문 읽기이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.