[논문 리뷰] Efficient Training of Language Models to Fill in the Middle

Mohammad Bavarian, Heewoo Jun외 5명|arXiv (Cornell University)|2022. 07. 28.

Topic Modeling인용 수 44

한 줄 요약

Autoregressive 언어 모델은 가운데 구간을 끝으로 옮기는 간단한 데이터 변환으로 middle span을 채우는 방법(FIM)을 배울 수 있으며, FIM 학습은 좌→우 능력에 대해 사실상 비용이 들지 않는 것으로 보인다; 미세조정 FIM은 계산 집약적이며, 본 논문은 최선의 관행과 벤치마크를 제공한다.

ABSTRACT

We show that autoregressive language models can learn to infill text after we apply a straightforward transformation to the dataset, which simply moves a span of text from the middle of a document to its end. While this data augmentation has garnered much interest in recent years, we provide extensive evidence that training models with a large fraction of data transformed in this way does not harm the original left-to-right generative capability, as measured by perplexity and sampling evaluations across a wide range of scales. Given the usefulness, simplicity, and efficiency of training models to fill-in-the-middle (FIM), we suggest that future autoregressive language models be trained with FIM by default. To this end, we run a series of ablations on key hyperparameters, such as the data transformation frequency, the structure of the transformation, and the method of selecting the infill span. We use these ablations to prescribe strong default settings and best practices to train FIM models. We have released our best infilling model trained with best practices in our API, and release our infilling benchmarks to aid future research.

연구 동기 및 목표

• 좌→우 생성에 해를 주지 않으면서 가운데 구간을 끝으로 옮기는 간단한 데이터 변환(FIM)을 도입하여 인필링을 가능하게 하고 이를 촉진한다는 동기 부여와 목표를 제시한다.
• FIM으로 학습하는 것이 언어 및 코드 도메인에서 좌→우 생성에 해를 주지 않는다는 것을 보여준다( FIM-for-free 속성 ).
• FIM 능력을 극대화하기 위한 하이퍼파라미터 및 실용적 가이드라인( FIM 비율, 모드, 컨텍스트 대 문서 수준, 가운데 구간 선택) 을 제시한다.
• 향후 FIM 연구 및 응용을 촉진하기 위한 인필링 벤치마크를 제공하고 모델을 공개한다.

제안 방법

• 문서를 접두사(prefix), 가운데(middle), 접미사(suffix)로 분할하고 가운데를 끝으로 옮겨(접두사, 접미사, 가운데)로 형성되도록 경계 토큰(sentinel tokens)으로 연결하는 데이터 변환을 적용한다.
• 원래의 좌→우 데이터와 FIM 변환 데이터를 혼합한 비율(FIM 비율 p, 일반적으로 50%)로 인과적 디코더 모델을 학습시키고, 자가회귀 손실을 보존하면서 인필링을 가능하게 한다.
• 두 가지 FIM 구현(Prefix-Suffix-Middle 순서(PIM? PSM)과 Suffix-Prefix-Middle(SPM))과 이들의 공동 학습을 탐구하며, 경계 토큰 배치의 고려사항을 다룬다.
• 데이터 분할 중 발생하는 데이터 단편화를 완화하기 위해 컨텍스트 단위 대 문서 단위의 FIM을 조사하고, 100B 토큰 프리트레이닝 시야와 모델 규모 간의 치환 실험을 수행한다.
• 표준 자동회귀 벤치마크를 통해 좌→우 성능을 평가하고, 언어와 코드에서의 특수 벤치마크를 통해 인필링 성능을 측정하며, 새 랜덤 스팬 인필링 과제를 포함한다.

실험 결과

연구 질문

• RQ1 FIM 학습이 모델의 좌→우 자동회귀 능력에 영향을 미치는가?
• RQ2 FIM 비율을 달리했을 때 인필링 성능과 AR 성능은 규모에 따라 어떻게 달라지는가?
• RQ3 FIM을 구현하기 위한 최선의 관행(PSM 대 SPM, 컨텍스트 대 문서 수준, 가운데 구간 선택)을 통해 자동회로를 해치지 않으면서 인필링을 극대화하려면 어떻게 해야 하는가?
• RQ4 사전학습된 모델을 미세조정하는 것이 FIM 능력을 FIM으로 학습하기만큼 효과적으로 달성될 수 있는가, 그리고 어떤 계산 비용이 필요한가?

주요 결과

• FIM 학습은 FIM-for-free 특성을 실현한다: 좌→우(오토레이스레이브) 손실 및 성능은 언어 및 코드 도메인에서 최대 50%의 FIM 데이터로 학습해도 변하지 않는다.
• 더 높은 FIM 비율(최대 90%)은 자동회전하는 당혹도(perplexity)를 저하시키지 않지만 100% FIM 비율은 AR 손실을 악화시키기 시작하며, 인필링 성능은 FIM 비율이 높아질수록 향상된다.
• 컨텍스트 수준의 FIM이 문서 수준의 FIM보다 인필링 벤치마크에서 일관되게 더 우수하며, AR 손실 차이는 미미하다.
• SPM 모드가 일반적으로 PSM보다 약간 강력하며, 공동 PSM+SPM 학습은 견고하고 유연한 모델을 제공하고 추론 모드를 효율적으로 만든다.
• AR 모델을 FIM 능력을 얻도록 미세조정하는 데는 상당한 추가 계산이 필요하며, FIM으로 처음부터 학습된 모델과 동일한 성능에 도달하는 경우가 많지 않다.