[논문 리뷰] Decoupled Context Processing for Context Augmented Language Modeling

Zonglin Li, Ruiqi Guo외 1명|arXiv (Cornell University)|2022. 10. 11.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 외부 컨텍스트를 언어 모델에 통합하기 위해 오프라인으로 컨텍스트 인코딩을 수행하고 캐시하는 분리된 인코더-디코더 아키텍처를 제안한다. 이는 효율적인 추론을 가능하게 하며, 자동회귀 언어 모델링 및 오픈 도메인 질의 응답에서 경쟁력 있는 성능을 달성한다. 또한 사전 인코딩과 룩업 기반 검색을 통해 지능적인 컨텍스트 전이와 계산 비용 절감을 입증한다.

ABSTRACT

Language models can be augmented with a context retriever to incorporate knowledge from large external databases. By leveraging retrieved context, the neural network does not have to memorize the massive amount of world knowledge within its internal parameters, leading to better parameter efficiency, interpretability and modularity. In this paper we examined a simple yet effective architecture for incorporating external context into language models based on decoupled Encoder Decoder architecture. We showed that such a simple architecture achieves competitive results on auto-regressive language modeling and open domain question answering tasks. We also analyzed the behavior of the proposed model which performs grounded context transfer. Finally we discussed the computational implications of such retrieval augmented models.

연구 동기 및 목표

• 외부 컨텍스트를 언어 모델에 통합하기 위한 계산 비용이 적은 아키텍처를 설계하기 위해, 컨텍스트 인코딩을 시퀀스 생성 과정에서 분리한다.
• 내부적으로 세계 지식을 기억할 필요를 줄여 파라미터 효율성, 해석 가능성, 모odu리티를 향상시킨다.
• 검색된 컨텍스트가 예측 성능에 어떻게 향상되는지 분석하고, 특히 내용어에 대해 어떻게 개선되는지 확인하며, 지능적인 컨텍스트 전이를 검증한다.
• 지능형 검색 기반 모델의 계산적 트레이드오프를 분석하며, 지연, 메모리, 에너지 효율성에 초점을 맞춘다.
• 검색된 컨텍스트의 유용성을 측정하는 지표를 활용해 검색기 학습을 이끌어낸다.

제안 방법

• 모델은 표준 인코더-디코더 트랜스포머 아키텍처를 사용하며, 인코더는 사전에 검색된 컨텍스트 파assage를 처리하고 인코딩한다.
• 컨텍스트 인코딩은 캐시되어 추론 시 빠른 룩업을 가능하게 하며, 인코딩 단계를 자동회귀 생성 과정에서 분리한다.
• 디코더는 인풋 시퀀스와 검색된 컨텍스트 양쪽에 대해 크로스 어텐션을 통해 어텐션하고, 양쪽을 조건으로 하여 타겟 시퀀스를 생성한다.
• 검색기는 밀도 벡터 임베딩(DPR 등)을 사용해 벡터 데이터베이스를 검색하고, 근사 최근접 이웃 검색(ScaNN 등)을 통해 관련 컨텍스트 파assage를 검색한다.
• 모델은 디코더가 검색된 컨텍스트에 기반한 출력을 생성하도록 유도하는 손실 함수로 훈련되며, 추론의 정합성은 아블레이션 및 분석을 통해 검증된다.
• 검색 품질은 검색된 컨텍스트가 예측 정확도를 얼마나 향상시키는지 평가하는 유용성 지표를 통해 유도된다.

실험 결과

연구 질문

• RQ1 복잡한 어텐션 메커니즘 없이도 단순한 분리된 인코더-디코더 아키텍처가 컨텍스트 보강 언어 모델링에서 경쟁적인 성능을 낼 수 있는가?
• RQ2 모델이 답변 생성에 있어 검색된 컨텍스트에 얼마나 의존하는가, 내부 기억에 의존하는 정도는 어느 정도인가?
• RQ3 원래 출력을 포함한 핵심 컨텍스트 파assage를 제거했을 때 모델의 행동은 어떻게 변화하는가?
• RQ4 컨텍스트 인코딩을 사전에 계산하고 캐시함으로써 지연, 메모리, 에너지 측면에서 어떤 계산적 트레이드오프가 발생하는가?
• RQ5 컨텍스트 보강이 언어 유형에 따라 예측 성능에 어떻게 기여하는가, 특히 내용어에 대해선 어떻게 향상되는가?

주요 결과

• 분리된 아키텍처는 C4 언어 모델링과 자연 질문(Natural Questions) 질의 응답에서 경쟁적인 성능을 달성했으며, 복잡한 백본(예: Chunked-Cross-Attention)보다 비트/바이트(BPB) 측면에서 우수하거나 유사한 성능을 보였다.
• 모델 출력의 76%가 원래 출력을 포함한 컨텍스트 파assage 제거로 인해 변경되었지만, 새로운 출력은 여전히 나머지 컨텍스트에 기반하여 지능적으로 생성되어 강한 컨텍스트 의존성을 보였다.
• 지능적인 컨텍스트 전이를 통한 출력 정확도는 51.5%였고, 비지능적인 출력은 35.4%로 유의미하게 높았다.
• 20개의 컨텍스트 파assage에서 검색 및 생성을 위한 엔드투엔드 추론 지연은 약 66ms였으며, 이 중 80%는 검색 및 인코딩에 소요되었고, 인코더의 시간의 약 1/3만이 컨텍스트 인코딩에 사용되었다.
• 사전에 계산된 컨텍스트 인코딩은 빠른 룩업을 가능하게 하여 추론 비용을 절감했으며, NVMe SSD에서 인코딩을 읽는 데 1.5ms, 네트워크 전송에 0.8ms가 소요되었다.
• 이 방법은 대부분의 계산(쿼리 인코딩 제외)이 고성능 가속기 대신 일반적인 CPU와 스토리지에서 이루어지므로 에너지 및 하드웨어 비용 절감에 기여한다.