[논문 리뷰] Found in the Middle: Permutation Self-Consistency Improves Listwise Ranking in Large Language Models

Raphael Tang, Xinyu Zhang외 3명|arXiv (Cornell University)|2023. 10. 11.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 대규모 언어 모델(Large Language Models, LLMs)의 순서에 민감한 편향을 줄이기 위해 순열 자기일致성(Permutation Self-Consistency)을 제안한다. 이 방법은 입력 리스트를 여러 번 무작위로 재배열하고, 동일한 LLM으로부터 다양한 순서를 생성한 후, 켄델 거리(Kendall tau distance)를 최소화하는 Kemeny 최적화를 통해 중심 순서를 도출한다. 이는 리스트 기반 순위 매기기 과정에서 위치 편향을 감소시키며, GPT-3.5와 LLaMA v2 (70B)에서 문단 재정렬 작업에서 정확도를 최대 18% 향상시켜 기존 최고 성능을 경신한다. 이는 모델 내부 구조에 대한 접근 없이도 달성된다.

ABSTRACT

Large language models (LLMs) exhibit positional bias in how they use context, which especially complicates listwise ranking. To address this, we propose permutation self-consistency, a form of self-consistency over ranking list outputs of black-box LLMs. Our key idea is to marginalize out different list orders in the prompt to produce an order-independent ranking with less positional bias. First, given some input prompt, we repeatedly shuffle the list in the prompt and pass it through the LLM while holding the instructions the same. Next, we aggregate the resulting sample of rankings by computing the central ranking closest in distance to all of them, marginalizing out prompt order biases in the process. Theoretically, we prove the robustness of our method, showing convergence to the true ranking in the presence of random perturbations. Empirically, on five list-ranking datasets in sorting and passage reranking, our approach improves scores from conventional inference by up to 7-18% for GPT-3.5 and 8-16% for LLaMA v2 (70B), surpassing the previous state of the art in passage reranking. Our code is at https://github.com/castorini/perm-sc.

연구 동기 및 목표

• 입력 리스트의 순서에 따라 모델 출력이 달라지는 리스트 기반 순위 매기기 과정에서 발생하는 위치 편향을 해결하기 위해.
• 모델 내부 구조에 대한 접근 없이도 블랙박스 LLM의 순위 매기기 작업에서 일관성과 강건성을 향상시키기 위해.
• 프롬프트 순서에 영향을 받지 않으면서도 높은 순위 질을 유지하는 디코딩 전략을 개발하기 위해.
• 다양한 리스트 순위 매기기 과업(예: 문단 재정렬, 정렬)에서 경험적으로 방법의 성능을 검증하기 위해.
• 일부 조건 하에서 노이즈에 대한 강건성과 진정한 순위로의 수렴 가능성을 이론적으로 분석하기 위해.

제안 방법

• 같은 지시어를 유지하면서 입력 리스트를 반복적으로 무작위로 재배열하여 동일한 LLM으로부터 다양한 순위를 생성한다.
• 모든 생성된 순위들로부터 켄델 거리(Kendall tau distance)를 최소화하는 중심 순위를 Kemeny 순위 매기기 방법으로 계산한다.
• 다양한 무작위 재배열된 입력에 기반한 공통 순위를 찾음으로써 프롬프트 순서 편향을 제거하는 집계 과정을 수행한다.
• 모델 미세조정이나 은닉 표현 접근 없이도 순서에 무관한 방법이며, 계산이 효율적이고 병렬 처리가 가능하다. 집계 시간은 샘플 수와 무관하다.
• 입력 리스트의 순열에 대한 자기일치성(self-consistency)을 활용하며, 각 재배열을 독립적인 샘플로 간주한다.
• 계산 비용이 낮고 병렬 처리가 가능하며, 집계 시간은 샘플 수에 영향을 받지 않는다.

Figure 1: The conventional decoding process for listwise ranking with input prompt a , language model c , and output ranking d . The grey item b is “lost in the middle” by the LLM, resulting in its misranking e .

실험 결과

연구 질문

• RQ1 순열 자기일치성은 리스트 기반 순위 매기기 과업에서 LLM의 위치 편향을 줄일 수 있는가?
• RQ2 이 방법은 다양한 데이터셋과 LLM에서 순위 정확도 향상에 얼마나 효과적인가?
• RQ3 무작위로 재배열한 샘플 수가 성능 향상에 미치는 영향은 어떠한가?
• RQ4 순위 출력에 임의의 노이즈 분포가 존재하더라도 이 방법은 강건한가?
• RQ5 기존 방법들과 비교했을 때 일관성과 프롬프트 순서에 대한 불변성 측면에서 어떻게 성능을 내는가?

주요 결과

• GPT-3.5에서는 문단 재정렬 과업에서 최대 18% 향상되었고, LLaMA v2 (70B)에서는 최대 16% 향상되었다.
• TREC-DL19 및 TREC-DL20 문단 순위 매기기 벤치마크에서 새로운 최고 성능을 기록했다.
• 20개의 재배열 샘플로도 최대 성능 향상의 67%를 달성하여 빠른 수렴을 보였다.
• 샘플링 온도가 성능에 미치는 영향은 매우 작았으며, 체인 오브 써포트 추론과는 달리 리스트 기반 순위 매기기에서는 탐색이 필요하지 않음을 시사했다.
• 노이즈에 강건하며, 충분한 샘플 수와 관측치 당 최소 한 쌍의 정답이 존재할 경우, 임의의 고정된 노이즈 분포 하에서도 진정한 순위로 수렴한다.
• Kemeny 집계 방법은 특히 LLM에서 흔히 발생하는 '중간에 사라지는 효과(lost-in-the-middle)'를 효과적으로 완화하여 위치 편향을 줄이는 데 기여했다.

Figure 2: Our permutation self-consistency process. With the instruction fixed, we shuffle the input list for prompts a , producing outputs with different mistakes. We then aggregate b these output rankings into one c .