[논문 리뷰] The Inductive Bias of In-Context Learning: Rethinking Pretraining Example Design

Yoav Levine, Noam Wies외 4명|arXiv (Cornell University)|2021. 10. 09.

Topic Modeling인용 수 7

한 줄 요약

이 논문은 신경어휘모델(NLMs)이 동일한 전훈 예제 내에서 제시된 문장들 사이에 더 강한 종속성을 학습하는 인덕티브 바이어스를 규명한다. 이 바이어스는 분리 랭크 분석을 통해 수식화되었으며, 저자들은 의미적으로 관련된 비연접 문장을 하나의 훈련 예제로 통합하는 kNN-Pretraining 기법을 제안한다. 이는 문장 표현을 향상시키고 개방형 도메인 질의응답 및 GLUE 벤치마크에서 제로샷 성능을 향상시킨다.

ABSTRACT

Pretraining Neural Language Models (NLMs) over a large corpus involves chunking the text into training examples, which are contiguous text segments of sizes processable by the neural architecture. We highlight a bias introduced by this common practice: we prove that the pretrained NLM can model much stronger dependencies between text segments that appeared in the same training example, than it can between text segments that appeared in different training examples. This intuitive result has a twofold role. First, it formalizes the motivation behind a broad line of recent successful NLM training heuristics, proposed for the pretraining and fine-tuning stages, which do not necessarily appear related at first glance. Second, our result clearly indicates further improvements to be made in NLM pretraining for the benefit of Natural Language Understanding tasks. As an example, we propose "kNN-Pretraining": we show that including semantically related non-neighboring sentences in the same pretraining example yields improved sentence representations and open domain question answering abilities. This theoretically motivated degree of freedom for pretraining example design indicates new training schemes for self-improving representations.

연구 동기 및 목표

• 전훈 데이터의 분할 방식이 연속적인 훈련 예제로 구성될 때 유도되는 인덕티브 바이어스를 수식화하는 것.
• 항상 같은 입력에 함께 등장하지 않은 문장들 간의 종속성 모델링에 있어 표현력의 손실을 정량화하는 것.
• 이 바이어스가 다양한 성공적인 NLP 훈련 히وري스틱의 기초가 되며, 예제 간 정보 통합을 제한한다는 것을 보여주는 것.
• 의미적으로 관련된 비근접 문장을 동일한 훈련 예제에 포함시켜 이 바이어스를 완화하는 kNN-Pretraining을 제안하고 평가하는 것.
• empirical적으로 kNN-Pretraining이 개방형 도메인 질의응답 및 GLUE 벤치마크에서 제로샷 성능을 향상시킨다는 것을 보여주는 것.

제안 방법

• 훈련 예제에 함께 등장한 문장들 간의 종속성에 유리한 표현력 바이어스를 갖는 '인컨텍스트 바이어스' 개념을 도입한다.
• 유한 정밀도 하에서 효과적인 종속성 모델링 능력을 측정하는 지표로 ε-분리 랭크를 정의하며, 순차적이고 다중 예제 설정에 적합하게 조정한다.
• 동일한 입력 내에 있는 두 문장의 로그 분리 랭크에 상한을 두어 Õ(dxL)로 표현하며, 이는 날카로운 상한임을 증명한다. 여기서 dx는 모델의 너비이고 L은 깊이이다.
• 항상 함께 등장하지 않은 두 문장의 로그 분리 랭크에 상한을 두어 Õ(dx[L − 0.5 log₃(η⁻¹)])로 표현하며, 작은 학습률로 인한 깊이 손실을 드러낸다.
• kNN-Pretraining을 제안: 전훈 데이터를 재구성하여 의미적으로 유사한 비연접 문장을 동일한 입력 예제에 포함시킨다.
• 혼합 데이터 스트림과 표준 언어 모델 목표함수를 사용하여 위키백과 데이터에서 RoBERTa 및 GPT-2 모델을 kNN-Pretraining으로 훈련하고, Natural Questions 및 GLUE 벤치마크에서 평가한다.

실험 결과

연구 질문

• RQ1 전훈 코퍼스가 연속적인 훈련 예제로 분할될 경우, 모델이 다른 예제의 문장들 간 종속성을 학습하는 데 어떤 영향을 받는가?
• RQ2 항상 함께 등장하지 않은 문장들 간 종속성을 모델링할 때 발생하는 이론적 표현력 손실은 무엇인가?
• RQ3 의미적으로 관련된 비연접 문장을 동일한 훈련 예제에 통합하면 최종 NLU 성능이 향상되는가?
• RQ4 kNN-Pretraining은 개방형 도메인 질의응답 및 일반화 작업에서 제로샷 능력을 어느 정도 향상시키는가?
• RQ5 학습률과 모델 크기에 따라 종속성 모델링의 깊이 손실은 어떻게 스케일링되는가?

주요 결과

• 작은 학습률(η ∈ [10⁻⁶, 10⁻⁴])로 인해, 서로 다른 훈련 예제의 문장들 간 종속성 모델링 능력은 이론적으로 약 6층의 깊이 손실로 제한된다.
• kNN-Pretraining은 Natural Questions 벤치마크에서 제로샷 성능을 크게 향상시키며, 345M 파라미터 모델이 400K 정규 스텝에 더해 10K kNN-Pretraining 스텝을 거친 후 F1 스코어 1.4×10⁻²를 기록한다.
• GLUE 작업에서 kNN-Pretraining은 MNLI의 기준 평균 35.1에서 35.5로, RTE의 52.0에서 53.0으로, WNLI의 51.1에서 56.3으로 제로샷 정확도를 향상시킨다.
• kNN-Pretraining의 성능 향상은 총 전훈 시간의 10%만 적용해도 두드러지게 나타나, 높은 샘플 효율성을 보여준다.
• 깊이 손실 추정치는 이론적 상한보다 더 심각할 수 있으며, L의 분수 수준으로 스케일링될 가능성이 있어 실질적 영향이 더 크다는 것을 시사한다.
• 실험 결과는 kNN-Pretraining이 제로샷 설정에서도 모델 능력을 향상시키며, 체계적인 인컨텍스트 노출을 통해 내부 표현 학습이 향상됨을 보여준다.