[논문 리뷰] Why do Nearest Neighbor Language Models Work?

Frank F. Xu, Uri Alon외 1명|arXiv (Cornell University)|2023. 01. 07.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 k-최근접 이웃 언어 모델(kNN-LMs)이 기본 언어 모델과 동일한 훈련 데이터에서 검색함에도 불구하고 퍼즐러피티(perplexity)를 향상시키는 이유를 조사한다. 세 가지 핵심 요인을 규명한다: 다양한 트랜스포머 계층의 표현을 앙상블하는 것(기여도 55%), 근사 최근접 이웃 검색을 사용하는 것(2.6% 향상), 그리고 소프트맥스 온도를 튜닝하는 것(최대 3.7% 향상). 이 요소들이 함께 작용하여 kNN-LM의 성공을 암기나 과적합이 아닌, 보다 일반적인 성능 향상 요인으로 설명한다.

ABSTRACT

Language models (LMs) compute the probability of a text by sequentially computing a representation of an already-seen context and using this representation to predict the next word. Currently, most LMs calculate these representations through a neural network consuming the immediate previous context. However recently, retrieval-augmented LMs have shown to improve over standard neural LMs, by accessing information retrieved from a large datastore, in addition to their standard, parametric, next-word prediction. In this paper, we set out to understand why retrieval-augmented language models, and specifically why k-nearest neighbor language models (kNN-LMs) perform better than standard parametric LMs, even when the k-nearest neighbor component retrieves examples from the same training set that the LM was originally trained on. To this end, we perform a careful analysis of the various dimensions over which kNN-LM diverges from standard LMs, and investigate these dimensions one by one. Empirically, we identify three main reasons why kNN-LM performs better than standard LMs: using a different input representation for predicting the next tokens, approximate kNN search, and the importance of softmax temperature for the kNN distribution. Further, we incorporate these insights into the model architecture or the training procedure of the standard parametric LM, improving its results without the need for an explicit retrieval component. The code is available at https://github.com/frankxu2004/knnlm-why.

연구 동기 및 목표

• 기본 언어 모델과 동일한 훈련 데이터에서 검색함에도 kNN-LMs가 성능을 향상시키는 이유를 이해하는 것.
• kNN-LMs의 성능 향상에 기여하는 특정 설계 선택 사항을 분리하고 평가하는 것.
• 성능 향상이 검색, 아키텍처 앙상블, 또는 정규화나 레이블 스무딩과 같은 다른 요인에 기인하는지 여부를 규명하는 것.
• 설계 구성 요소를 체계적으로 분석할 수 있도록 kNN-LM의 일반화된 수식을 개발하는 것.
• 성능 향상 효과를 명시적 검색 없이도 표준 매개수 기반 언어 모델에서 재현할 수 있도록 하는 것. 이는 효율성을 향상시킨다.

제안 방법

• 비매개수 성분을 매개수 기반 언어 모델의 소프트맥스 및 임bedding 계층과 통합하는 일반화된 kNN-LM 수식을 제안하는 것.
• 시스템적으로 구성 요소를 변경하여 분석 실험을 수행하는 것: 유사도 계산을 위한 입력 표현, 근사 검색 대비 정확한 kNN 검색 사용 여부, kNN 구성 요소의 소프트맥스 온도.
• 다양한 입력 표현(예: 어텐션 계층 출력 대비 피드포워드 계층 출력)을 사용하여 기본 LM의 변종을 훈련하고 비교함으로써 앙상블 효과를 분리하는 것.
• 검색 성능을 유지하면서 추론 효율성을 향상시키기 위해 kNN 검색을 미분 가능한 행렬 연산으로 대체하는 것.
• 다른 훈련 목표 함수와 레이블 유형(예: 소프트 레이블)을 테스트하여 kNN-LM 성공의 대안적 설명을 배제하는 것.

실험 결과

연구 질문

• RQ1 기본 언어 모델과 동일한 훈련 데이터에서 검색함에도 kNN-LM이 퍼즐러피티를 감소시키는 이유는 무엇인가요?
• RQ2 성능 향상은 검색, 아키텍처 앙상블, 또는 근사 검색의 정규화 효과 때문인가요?
• RQ3 kNN 구성 요소의 소프트맥스 온도가 모델 성능에 상당한 영향을 미치며, 원래 kNN-LM 설정에서 최적인지 여부는 무엇인가요?
• RQ4 kNN-LM의 성능 향상 효과를 검색 없이도 표준 매개수 기반 언어 모델에서 입력 표현 또는 훈련 절차를 수정함으로써 재현할 수 있는가요?
• RQ5 근사 최근접 이웃 검색은 일반화에 어떤 역할을 하며, 왜 정확한 검색보다 더 잘 작동할 수 있을까요?

주요 결과

• 트랜스포머의 다양한 계층(예: 어텐션 및 피드포워드 출력)의 표현을 앙상블하는 것은 kNN-LM에서 퍼즐러피티 향상의 55%를 차지하며, 이는 퍼즐러피티의 6.5% 상대 감소에 해당한다.
• 정확한 검색 대신 근사 최근접 이웃 검색을 사용하면 퍼즐러피티가 2.6% 상대적으로 향상되며, 이는 정밀도가 낮아진 것에서 비롯된 정규화 효과를 시사한다.
• kNN 구성 요소의 소프트맥스 온도를 튜닝하면 퍼즐러피티가 최대 3.7% 상대적으로 향상되며, 이는 온도가 중요한데도 자주 간과되는 하이퍼파라미터임을 시사한다.
• kNN-LM의 성공은 다른 기본 모델을 앙상블하는 것과 수직이므로, 성능 향상은 모델 평균화 때문이 아님을 시사한다.
• 통제된 분석 실험을 통해 암기, 과적합, 희소화, 도용된 확률, 소프트 레이블 등 요소들은 성능 향상의 원인이 아님을 배제하였다.
• kNN 검색을 미분 가능한 행렬 연산으로 대체할 수 있으며, 이 경우 6.5% 이상의 상대적 퍼즐러피티 향상 효과를 유지하면서 검색 없이도 효율적인 추론을 가능하게 한다.