[논문 리뷰] Positional Bias in Long-Document Ranking: Impact, Assessment, and Mitigation

Leonid Boytsov, Akinpelu, David외 6명|arXiv (Cornell University)|2022. 07. 04.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 장문 문서 순위 매기기에서의 위치 편향을 조사하며, 전용 트랜스포머(롱포머, 비그버드)와 PARADE와 같은 검색 방법을 포함한 13개 모델을 평가한다. 놀랍게도, 표준 트랜스포머 입력 제한에 맞게 문서를 잘라내는 간단한 FirstP 기준선 모델이 더 복잡한 모델들을 능가한다. 이는 주로 관련 콘텐츠가 문서의 초기 위치에 집중되어 있기 때문이다. 연구는 표준 벤치마크인 MS MARCO와 Robust04가 이 위치 편향으로 인해 장문 문서 모델 평가에 부적합하다고 결론내린다.

ABSTRACT

We tested over 20 Transformer models for ranking long documents (including recent LongP models trained with FlashAttention and RankGPT models "powered" by OpenAI and Anthropic cloud APIs). We compared them with the simple FirstP baseline, which applied the same model to truncated input (up to 512 tokens). On MS MARCO, TREC DL, and Robust04 no long-document model outperformed FirstP by more than 5% (on average). We hypothesized that this lack of improvement is not due to inherent model limitations, but due to benchmark positional bias (most relevant passages tend to occur early in documents), which is known to exist in MS MARCO. To confirm this, we analyzed positional relevance distributions across four long-document corpora (with six query sets) and observed the same early-position bias. Surprisingly, we also found bias in six BEIR collections, which are typically categorized as short-document datasets. We then introduced a new diagnostic dataset, MS MARCO FarRelevant, where relevant spans were deliberately placed beyond the first 512 tokens. On this dataset, many long-context models (including RankGPT) performed at random-baseline level, suggesting overfitting to positional bias. We also experimented with debiasing training data, but with limited success. Our findings (1) highlight the need for careful benchmark design in evaluating long-context models for document ranking, (2) identify model types that are more robust to positional bias, and (3) motivate further work on approaches to debias training data. We release our code and data to support further research.

연구 동기 및 목표

• 최근의 13개 장문 문서 순위 매기기 모델의 성능을 평가하기 위해, 희소 어텐션을 가진 전용 트랜스포머를 포함한다.
• 전체 장문 문서를 처리하는 모델들(예: 롱포머, 비그버드)이 단순한 잘라내기 기준선(FirstP)보다 유의미하게 뛰어나게 되는지 조사한다.
• MS MARCO와 Robust04와 같은 표준 벤치마크가 장문 문서 순위 매기기 평가에 얼마나 한계가 있는지 평가한다.
• 문서 내 관련 문단의 분포를 분석하여 모델 성능 격차를 설명한다.
• 조직자에 쿼리 임베딩을 통합하여 PARADE-Transformer 모델을 개선함으로써 안정성과 성능을 향상시킨다.

제안 방법

• MS MARCO와 Robust04 두 개의 표준 컬렉션에서 13개 모델을 종합적으로 평가하며, MAP와 NDCG@10와 같은 여러 지표를 사용한다.
• PARADE 프레임워크에서 슬라이딩 윈도우 크기와 스트라이드에 대한 체계적 아블레이션을 수행하여 민감도와 내구성을 평가한다.
• 입력 길이의 영향을 분리하기 위해 일관된 잘라내기 임계값(1431 토큰)을 사용해 모델을 훈련하고 미세조정한다.
• 조직자 네트워크에 쿼리 임베딩을 통합하여 성능을 향상시킨 수정된 PARADE-Transformer(PARADE Transf-PRETR-Q-L6)를 도입한다.
• 통계적 신뢰도를 높이고 변동성을 줄이기 위해 훈련 및 평가에 다수의 랜덤 시드(3개)를 사용한다.
• 재현 가능성과 향후 벤치마크를 위해 핵심 소프트웨어 구성 요소를 공개한다.

실험 결과

연구 질문

• RQ1 RQ1: 최신 장문 문서 순위 매기기 모델들이 FirstP 기준선보다 얼마나 향상되었는가? 추가 향상 여지가 있는가?
• RQ2 RQ2: 롱포머와 비그버드 모델은 정보 검색 커뮤니티의 모델들과 비교해 장문 문서 순위 매기기에서 어떻게 성능을 내며, FirstP를 능가하는가?
• RQ3 RQ3: 조직자에 쿼리 임베딩을 통합함으로써 PARADE-Transformer 모델의 성능을 향상시킬 수 있는가?

주요 결과

• 표준 트랜스포머 입력 길이(예: 512 토큰)에 맞게 문서를 잘라내는 FirstP 기준선 모델이 놀랍게 잘 성능을 내며, 일반적으로 전체 장문을 처리하는 더 복잡한 모델들을 능가한다.
• 장기적 컨텍스트를 고려한 전용 트랜스포머인 롱포머와 비그버드는 FirstP 기준선에 비해 거의 향상되지 않으며, 이는 문서 콘텐츠의 위치 편향으로 인해 아키텍처적 이점이 상쇄됨을 시사한다.
• 관련 문단의 분포는 문서의 초기 위치에 크게 집중되어 있으며, 이는 잘라내기로 초기 세그먼트를 선택할 경우 대부분의 관련 콘텐츠를 포괄할 수 있음을 설명한다.
• 무작위 초기화된 조직자로 구성된 PARADE-Transformer 모델은 효과적으로 훈련하기 어려운 반면, 사전 훈련된 가중치(예: Sentence-BERT MiniLM)를 사용한 미세조정은 성능과 안정성을 향상시킨다.
• 조직자에 쿼리 임베딩을 통합한 수정된 PARADE-Transformer(PARADE Transf-PRETR-Q-L6)는 MS MARCO와 TREC DL 데이터셋에서 다양한 윈도우 크기와 스트라이드에서 원본 모델을 일관되게 능가한다.
• Robust04와 MS MARCO는 위치 편향으로 인해 초기 위치의 관련성이 지배하기 때문에 장문 문서 순위 매기기 평가에 부적합한 벤치마크로 밝혀졌다. 이는 단순한 잘라내기 전략을 유리하게 만들며, 진정한 모델 일반화 능력을 가려내는 데 실패한다.