[논문 리뷰] Efficient Nearest Neighbor Language Models

Junxian He, Graham Neubig외 1명|arXiv (Cornell University)|2021. 09. 09.

Topic Modeling참고 문헌 33인용 수 5

한 줄 요약

이 논문은 k-최근접 이웃 언어 모델(kNN-LM)의 추론 속도를 향상시키기 위해 적응형 검색, 데이터베이스 정제, 주성분 분석(PCA)을 통한 차원 축소를 가능하게 하는 기법의 세트를 제안한다. 이러한 방법들을 조합함으로써, 원래의 kNN-LM와 비슷하거나 약간 향상된 퍼플렉서티를 유지하면서 WikiText-103에서 최대 6.6배, Law-MT에서 최대 5.4배의 속도 향상을 달성하여 비모수적 언어 모델링을 실세계 적용에 더 실현 가능하게 한다.

ABSTRACT

Non-parametric neural language models (NLMs) learn predictive distributions of text utilizing an external datastore, which allows them to learn through explicitly memorizing the training datapoints. While effective, these models often require retrieval from a large datastore at test time, significantly increasing the inference overhead and thus limiting the deployment of non-parametric NLMs in practical applications. In this paper, we take the recently proposed $k$-nearest neighbors language model (Khandelwal et al., 2020) as an example, exploring methods to improve its efficiency along various dimensions. Experiments on the standard WikiText-103 benchmark and domain-adaptation datasets show that our methods are able to achieve up to a 6x speed-up in inference speed while retaining comparable performance. The empirical analysis we present may provide guidelines for future research seeking to develop or deploy more efficient non-parametric NLMs.

연구 동기 및 목표

• 큰 외부 데이터베이스에서의 비용이 큰 검색으로 인한 비모수적 언어 모델의 높은 추론 비용을 해결하기 위해.
• 성능을 희생시키지 않고 kNN-LM의 효율성을 향상시켜 실용적인 자연어 처리 응용 분야에서 널리 배포할 수 있도록 하기 위해.
• 검색을 선택적으로 생략할 수 있는지, 중복된 데이터베이스 항목을 제거할 수 있는지, 또는 벡터 차원을 줄일 수 있는지에 대해 조사하기 위해.
• 비모수적 언어 모델링에서 속도와 성능를 균형 잡는 데 실증적인 지침을 제공하기 위해.

제안 방법

• 각 토큰에 대해 검색이 필요한지 예측하기 위해 경량 신경망을 사용하는 적응형 검색 기법을 도입하여 검색 호출을 최대 50% 감소시킴.
• 그리디 병합과 중요도 기반 필터링을 적용하여 데이터베이스 항목의 최대 40%를 정제하면서도 모델 성능를 유지함.
• PCA 기반 차원 축소를 통해 데이터베이스 내 벡터 표현을 압축하여 속도와 퍼플렉서티 양측 모두 향상함.
• 적응형 검색, 데이터베이스 정제, 차원 축소를 통합된 최적화 파이프라인으로 조합하여 최대 효율성 확보.
• 과적합을 방지하고 일반화를 확보하기 위해 검색 어댑터를 별도의 검증 세트에서 훈련함.
• 벡터 검색에서의 정량화 효율성과 성능 향상을 위해 FAISS의 PCA 구현을 활용하고 무작위 회전을 적용함.

실험 결과

연구 질문

• RQ1 일부 토큰에 대해 성능 저하 없이 검색을 지능적으로 생략함으로써 추론 오버헤드를 줄일 수 있는가?
• RQ2 정확도에 해를 끼치지 않으면서 중복되거나 중요도가 낮은 항목을 제거함으로써 데이터베이스를 얼마나 압축할 수 있는가?
• RQ3 데이터베이스 벡터의 차원을 줄이면 속도와 성능가 둘 다 향상되는가, 만약 그렇다면 그 이유는 무엇인가?
• RQ4 퍼플렉서티를 유지하면서 최대 속도 향상을 달성하는 데 최적의 효율 기법 조합은 무엇인가?

주요 결과

• 적응형 검색은 WikiText-103에서 최대 1.9배의 속도 향상을 달성하며 퍼플렉서티는 0.02 포인트 상승시키며, 검색 호출을 50% 감소시킴.
• 그리디 병합 정제 기법은 데이터베이스 크기를 40% 줄였고 퍼플렉서티는 0.2 포인트 상승시켰으며, 효과적인 중복 제거를 입증함.
• PCA를 통한 차원 축소로 512차원으로 압축한 결과, 퍼플렉서티가 0.25포인트 향상됨(16.65 → 16.40)과 함께 WikiText-103에서 3.6배의 속도 향상 달성.
• 모든 세 가지 기법을 조합하면 WikiText-103에서 6.6배의 속도 향상이 이루어지며 기준 kNN-LM와 거의 동일한 퍼플렉서티(16.67 vs. 16.65) 유지.
• Law-MT 도메인 적응 데이터셋에서는 통합 기법이 기준 kNN-LM 대비 5.4배의 속도 향상과 0.35포인트의 퍼플렉서티 향상을 달성함.
• PCA는 추론 속도 향상 외에도 Law-MT에서 성능 향상을 이끌어내며(12.64 → 11.59), L2 기반 kNN 검색에 더 적합한 벡터 공간을 제공함.