[論文レビュー] Neural Retrievers are Biased Towards LLM-Generated Content

Sunhao Dai, Yuqi Zhou+7 more|arXiv (Cornell University)|Oct 31, 2023

Topic Modeling参考文献 72被引用数 5

ひとこと要約

この論文は、神経的リtrievalモデルが、意味的に同等のテキストにおいて、LLMによって生成されたテキストを人間が書いたテキストよりも高くランク付けする顕著なバイアスを示していることを明らかにした。この現象は「ソースバイアス」と呼ばれる。著者らは、SciFact+AIGCおよびNQ320K+AIGCの2つの新しいベンチマークを導入し、このバイアスが最初の段階のリtrieverおよび2段階目の再ランク付けモデルの両方で継続することを示した。さらに、このバイアスを効果的に軽減するためのプラグアンドプレイ型デバイアス制約を提案した。

ABSTRACT

Recently, the emergence of large language models (LLMs) has revolutionized the paradigm of information retrieval (IR) applications, especially in web search, by generating vast amounts of human-like texts on the Internet. As a result, IR systems in the LLM era are facing a new challenge: the indexed documents are now not only written by human beings but also automatically generated by the LLMs. How these LLM-generated documents influence the IR systems is a pressing and still unexplored question. In this work, we conduct a quantitative evaluation of IR models in scenarios where both human-written and LLM-generated texts are involved. Surprisingly, our findings indicate that neural retrieval models tend to rank LLM-generated documents higher. We refer to this category of biases in neural retrievers towards the LLM-generated content as the extbf{source bias}. Moreover, we discover that this bias is not confined to the first-stage neural retrievers, but extends to the second-stage neural re-rankers. Then, in-depth analyses from the perspective of text compression indicate that LLM-generated texts exhibit more focused semantics with less noise, making it easier for neural retrieval models to semantic match. To mitigate the source bias, we also propose a plug-and-play debiased constraint for the optimization objective, and experimental results show its effectiveness. Finally, we discuss the potential severe concerns stemming from the observed source bias and hope our findings can serve as a critical wake-up call to the IR community and beyond. To facilitate future explorations of IR in the LLM era, the constructed two new benchmarks are available at https://github.com/KID-22/Source-Bias.

研究の動機と目的

• LLMによって生成されるコンテンツの増加が情報検索（IR）システムに与える影響を調査すること。
• 人間が書いたテキストとLLMによって生成されたテキストの両方を含む、現実的なIR評価に適した公開ベンチマークの不足に対処すること。
• 神経的リtrieバルモデルが、人間が書いたテキストと同等の意味的コンテンツを持つLLM生成テキストに対してバイアスを示すかどうかを特定・分析すること。
• 神経的リtrieバルモデルにおけるこのソースバイアスを低減するためのプラグアンドプレイ型デバイアス戦略を開発すること。

提案手法

• 意味を保持したままLLMを用いて人間が書いたテキストを再ライティングすることで、SciFact+AIGCおよびNQ320K+AIGCの2つの新しいベンチマークを構築し、関連性の自動ラベル付けを可能にした。
• 合成されたAIGCデータを用いて、人間とLLM生成テキストが共存するコロナに実世界のIRシナリオを模擬した。
• 語彙的、密度的、再ランク付けモデルを含む多数の神経的リtrieバルモデルを新ベンチマークで評価し、ランク付け行動におけるバイアスを検出した。
• テキスト圧縮の観点からバイアスを分析し、神経モデルがLLM生成テキストの構造的・意味的規則性に起因して、より効果的に理解・表現できることを示した。
• 損失関数を変更することで、LLM生成テキストの予測に対する過信を罰するデバイアス制約をプラグアンドプレイ型で提案した。
• mAPやrecall@kといった定量的指標を用いて、複数のリtrieバルモデルおよびデータセットにおいて、このデバイアス戦略の有効性を検証した。

実験結果

リサーチクエスチョン

• RQ1 LLM時代のIRモデルのための、人間が書いたテキストとLLM生成テキストの両方を含む現実的な評価環境をどのように構築できるか？
• RQ2 神経的リtrieバルモデルは、同じ意味的コンテンツを持つ人間が書いたテキストと比較して、LLM生成テキストを高くランク付けするバイアスを示すか？
• RQ3 このソースバイアスは、最初の段階のリtrieverと2段階目の再ランク付けモデルの両方で継続するか？
• RQ4 テキスト圧縮のような、神経モデルにおけるこのバイアスの背後にあるメカニズムは何か？
• RQ5 プラグアンドプレイ型デバイアス戦略は、神経的IRモデルにおけるソースバイアスを効果的に低減できるか？

主な発見

• 神経的リtrieバルモデルは、意味的に同等のテキストであっても、常にLLM生成テキストを人間が書いたテキストよりも高くランク付けする傾向があり、ソースバイアスの存在が確認された。
• このバイアスは最初の段階のリtrieverに限定されるのではなく、むしろ2段階目の神経的再ランク付けモデルにおいても存在し、しばしばより顕著である。
• バイアスは、神経モデルがLLM生成テキストの意味的構造をより効率的に表現できることに起因しており、テキスト圧縮性能の向上と関連している。
• 理論的分析により、LLM生成テキストはエントロピーの低減と冗長性の増加により、圧縮性が高いため、エンコーディング段階で神経モデルがこれを活用していることが示された。
• 提案されたプラグアンドプレイ型デバイアス制約は、複数のモデルでソースバイアスを低減し、リtrieバルランクの公平性を向上させた。
• SciFact+AIGCおよびNQ320K+AIGCの2つの新しいベンチマークは、LLM時代のIRシステムの評価に有効であり、今後の研究を支援するため、公開される予定である。