[논문 리뷰] Attention Sorting Combats Recency Bias In Long Context Language Models

Alexander Peysakhovich, Adam Lerer|arXiv (Cornell University)|2023. 09. 28.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 주의도 가중치를 기반으로 문맥 문서를 재정렬하여 최근성 편향을 줄이고 장기 문맥 언어 모델의 성능을 향상시키는 경량의 추론 시 기법인 어텐션 정렬을 제안한다. 관련 문서가 문맥의 끝부분으로 이동하도록 반복적으로 문서를 정렬함으로써 추출적 QA 성능을 향상시키며, 특히 오픈소스 모델에서 두드러진 성능 향상을 이룬다. 30,000의 문맥 길이에서 정확도를 두 배로 끌어올리며, Claude-2와 같은 프로prietary 모델에 맞먹는 성능을 달성한다.

ABSTRACT

Current language models often fail to incorporate long contexts efficiently during generation. We show that a major contributor to this issue are attention priors that are likely learned during pre-training: relevant information located earlier in context is attended to less on average. Yet even when models fail to use the information from a relevant document in their response, they still pay preferential attention to that document compared to an irrelevant document at the same position. We leverage this fact to introduce ``attention sorting'': perform one step of decoding, sort documents by the attention they receive (highest attention going last), repeat the process, generate the answer with the newly sorted context. We find that attention sorting improves performance of long context models. Our findings highlight some challenges in using off-the-shelf language models for retrieval augmented generation.

연구 동기 및 목표

• 장기 문맥 언어 모델가 관련 정보를 초기 문맥에 두었음에도 불구하고 이를 활용하지 못하는 이유를 규명하는 것.
• 응답에 가까운 위치에 있지 않은 관련 문서가 존재할 경우 추론 증강 생성(RAG)에서 성능 저하가 발생하는 이유를 해결하는 것.
• 재학습이나 아키텍처 변경 없이도 성능을 향상시킬 수 있는 실용적인 추론 시 기법을 개발하는 것.
• 어텐션 가중치가 장기 문맥 작업에서 문맥 재정렬에 신뢰할 수 있는 신호가 될 수 있는지 평가하는 것.

제안 방법

• 해당 기법은 한 단계의 디코딩을 수행하고, 각 문맥 내 문서에 대해 모든 레이어와 헤드의 평균 어텐션 가중치를 계산한다.
• 문서들은 어텐션 점수 내림차순으로 정렬되며, 가장 높은 어텐션 점수를 가진 문서가 문맥의 끝으로 이동된다.
• 이 과정은 반복적으로 수행되며, 일반적으로 두 번의 반복을 거친 후 재정렬된 문맥을 사용해 최종 생성을 수행한다.
• 이 방법은 관련 문서가 하나뿐이고 다른 문서들이 간섭문서인 인위적이고 통제된 QA 벤치마크(SynthWiki)에 적용된다.
• 모델이 초기 정보를 사용하지 못하더라도, 같은 위치에 있는 간섭문서보다 관련 문서에 더 많은 어휘를 할애한다는 사실을 활용한다.
• 이 기법은 오픈소스 및 프로prietary 장기 문맥 모델 모두에서 평가되었으며, 반복 횟수와 모델 유형에 대한 아블레이션 분석도 수행되었다.

Figure 1: Performance of all long-context models that we study on question answering degrades when the relevant information is embedded in a long context of irrelevant distractor text.

실험 결과

연구 질문

• RQ1 모델이 초기 정보를 생성에 활용하지 못하더라도, 어텐션 가중치 분포가 문서의 관련성과 관련이 있는가?
• RQ2 어텐션 점수를 기반으로 한 문맥의 반복적 재정렬이 장기 문맥 QA 성능을 향상시키는가?
• RQ3 RAG 작업에서 간섭문서의 수가 증가함에 따라 오픈소스 모델이 프로prietary 모델보다 더 심하게 성능 저하되는 이유는 무엇인가?
• RQ4 어떤 모델이 최근성 유도 편향을 가진 채로 사전학습된 경우, 어텐션 정렬이 최근성 편향을 얼마나 효과적으로 완화하는가?
• RQ5 파인튜닝이나 아키텍처 변경 없이도 어텐션 기반 재정렬이 베이스라인 모델을 능가할 수 있는가?

주요 결과

• 어텐션 정렬은 장기 문맥 모델의 QA 정확도를 크게 향상시키며, 오픈소스 모델의 경우 30,000의 문맥 길이에서 성능 향상이 100% 이상으로 나타난다.
• 두 번의 반복 후 어텐션 정렬은 관련 문서를 어텐션 효과가 가장 높은 '사용 가능한' 문맥 창 내부로 이동시킨다.
• TogetherLlama-7B-32k는 장기 문맥 QA로 파인튜닝된 후 가장 뛰어난 성능을 보이며, Claude-2나 GPT-3.5와 같은 프로prietary 모델을 따라하거나 능가한다.
• 이 기법은 WizardCoder나 YaRN과 같은 모든 테스트된 오픈소스 모델에서 성능 향상을 이끌었으며, 반복 횟수가 많을수록 효과가 더 뚜렷하다.
• 강한 최근성 편향을 가진 모델(예: Llama-2 base)은 간섭문서가 많을수록 더 심각한 성능 저하를 겪지만, 어텐션 정렬이 이를 효과적으로 보완한다.
• 모델의 인덕티브 바이어스와 기법 간의 상호보완성이 높다는 점을 고려할 때, 이 기법은 장기 문맥 QA로 파인튜닝된 모델일수록 더 효과적으로 작용한다.

Figure 2: QA accuracy on SynthWiki as a function of the position of the relevant document in the context. We see a replication of the ‘lost in the middle’ [ 15 ] effect on this dataset in which accuracy is lower when the relevant information is in the middle of a long context. The recency (informati