[논문 리뷰] Neural Retrievers are Biased Towards LLM-Generated Content

Sunhao Dai, Yuqi Zhou외 7명|arXiv (Cornell University)|2023. 10. 31.

Topic Modeling참고 문헌 72인용 수 5

한 줄 요약

이 논문은 신경 검색 모델이 의미적으로 동일한 인간이 작성한 텍스트보다 LLM이 생성한 텍스트를 더 높게 순위 매기는 심각한 편향, 즉 '소스 편향(source bias)'을 드러낸다. 저자들은 두 가지 새로운 벤치마크(SciFact+AIGC, NQ320K+AIGC)를 제안하고, 이 편향이 제1단계 검색기와 제2단계 재순서 정렬기 모두에서 지속됨을 입증하며, 효과적으로 이 편향을 완화하는 플러그-앤플레이(Plug-and-Play) 비편향 제약 조건을 제안한다.

ABSTRACT

Recently, the emergence of large language models (LLMs) has revolutionized the paradigm of information retrieval (IR) applications, especially in web search, by generating vast amounts of human-like texts on the Internet. As a result, IR systems in the LLM era are facing a new challenge: the indexed documents are now not only written by human beings but also automatically generated by the LLMs. How these LLM-generated documents influence the IR systems is a pressing and still unexplored question. In this work, we conduct a quantitative evaluation of IR models in scenarios where both human-written and LLM-generated texts are involved. Surprisingly, our findings indicate that neural retrieval models tend to rank LLM-generated documents higher. We refer to this category of biases in neural retrievers towards the LLM-generated content as the extbf{source bias}. Moreover, we discover that this bias is not confined to the first-stage neural retrievers, but extends to the second-stage neural re-rankers. Then, in-depth analyses from the perspective of text compression indicate that LLM-generated texts exhibit more focused semantics with less noise, making it easier for neural retrieval models to semantic match. To mitigate the source bias, we also propose a plug-and-play debiased constraint for the optimization objective, and experimental results show its effectiveness. Finally, we discuss the potential severe concerns stemming from the observed source bias and hope our findings can serve as a critical wake-up call to the IR community and beyond. To facilitate future explorations of IR in the LLM era, the constructed two new benchmarks are available at https://github.com/KID-22/Source-Bias.

연구 동기 및 목표

• LLM이 생성한 콘텐츠의 증가가 정보 검색(IR) 시스템에 미치는 영향을 조사하기 위해.
• 실제 IR 평가에 적합한 인간이 작성한 텍스트와 LLM이 생성한 텍스트를 모두 포함한 공개 벤치마크의 부족을 해결하기 위해.
• 신경 검색 모델이 인간이 작성한 텍스트보다 LLM이 생성한 텍스트를 더 선호하는 편향을 확인하고 분석하기 위해.
• 신경 검색 모델의 소스 편향을 줄이기 위한 플러그-앤플레이 비편향 전략을 개발하기 위해.

제안 방법

• 의미를 유지하면서 인간이 작성한 텍스트를 LLM으로 재작성하도록 유도하여, 신규 벤치마크인 SciFact+AIGC와 NQ320K+AIGC를 구축함으로써 자동으로 관련성 레이블링이 가능하도록 하였다.
• 합성된 AIGC 데이터를 활용해 인간과 LLM이 생성한 텍스트가 함께 존재하는 실제 세계의 IR 시나리오를 시뮬레이션하였다.
• 다양한 신경 검색 모델(어휘 기반, 밀도 기반, 재순서 정렬기 포함)을 신규 벤치마크에서 평가하여 순위 매기기 행동에서의 편향을 탐지하였다.
• 텍스트 압축의 관점에서 편향을 분석하여, 신경 모델이 LLM 생성 텍스트의 구조적·의미적 규칙성 덕분에 더 잘 이해하고 표현할 수 있음을 보였다.
• 손실 함수를 수정하여 LLM 생성 텍스트 예측에 대한 과도한 확신을 방지하는 플러그-앤플레이 비편향 제약 조건을 제안하였다.
• mAP와 recall@k와 같은 정량적 지표를 사용하여, 다양한 검색 모델과 데이터셋에서 비편향 전략의 효과를 검증하였다.

실험 결과

연구 질문

• RQ1 LLM 시대의 정보 검색 모델 평가를 위해 인간이 작성한 텍스트와 LLM이 생성한 텍스트를 모두 포함하는 현실적인 평가 환경을 어떻게 구성할 수 있는가?
• RQ2 신경 검색 모델은 의미적으로 동일한 인간이 작성한 텍스트보다 LLM이 생성한 텍스트를 더 높게 순위 매우는가?
• RQ3 이 소스 편향은 제1단계 검색기뿐 아니라 제2단계 재순서 정렬기에서도 지속되는가?
• RQ4 텍스트 압축과 같은 기반 메커니즘은 신경 모델에서 이 편향을 어떻게 유도하는가?
• RQ5 플러그-앤플레이 비편향 전략은 신경 IR 모델의 소스 편향을 효과적으로 줄일 수 있는가?

주요 결과

• 신경 검색 모델은 의미적으로 동일한 텍스트일지라도 LLM이 생성한 텍스트를 인간이 작성한 텍스트보다 항상 더 높게 순위 매김으로써 소스 편향의 존재를 확인하였다.
• 이 소스 편향은 제1단계 검색기뿐만 아니라 제2단계 신경 재순서 정렬기에서도 존재하며, 경우에 따라 더 심각한 경향이 있다.
• 편향은 신경 모델이 LLM 생성 텍스트의 의미적 구조를 더 효율적으로 표현할 수 있기 때문에 더 나은 텍스트 압축 성능과 관련이 있다.
• 이론적 분석을 통해 LLM 생성 텍스트는 엔트로피가 감소하고 재현성이 증가함으로써 더 높은 압축 가능성을 보이며, 이는 신경 모델의 인코딩 과정에서 유리하게 작용함을 밝혔다.
• 제안된 플러그-앤플레이 비편향 제약 조건은 다양한 모델에서 소스 편향을 감소시켜 검색 순위의 공정성을 향상시켰다.
• SciFact+AIGC와 NQ320K+AIGC라는 두 가지 신규 벤치마크는 LLM 시대의 IR 시스템 평가에 효과적이며, 향후 연구를 지원하기 위해 공개될 예정이다.