[論文レビュー] NeuCLIRTech: Chinese Monolingual and Cross-Language Information Retrieval Evaluation in a Challenging Domain

Dawn Lawrie, Mayfield, James+7 more|arXiv (Cornell University)|Feb 5, 2026

Information Retrieval and Search Behavior被引用数 0

ひとこと要約

NeuCLIRTechは、単言語中国語と跨言語（英語クエリ、中国語文書）双方の技術ドメインIR評価データセットを提供します。110トピックと35,962件のジャッジを組み合わせ、リランキング用のフュージョンベースラインを含み、Huggingface Datasetsで公開されています。

ABSTRACT

Measuring advances in retrieval requires test collections with relevance judgments that can faithfully distinguish systems. This paper presents NeuCLIRTech, an evaluation collection for cross-language retrieval over technical information. The collection consists of technical documents written natively in Chinese and those same documents machine translated into English. It includes 110 queries with relevance judgments. The collection supports two retrieval scenarios: monolingual retrieval in Chinese, and cross-language retrieval with English as the query language. NeuCLIRTech combines the TREC NeuCLIR track topics of 2023 and 2024. The 110 queries with 35,962 document judgments provide strong statistical discriminatory power when trying to distinguish retrieval approaches. A fusion baseline of strong neural retrieval systems is included so that developers of reranking algorithms are not reliant on BM25 as their first stage retriever. The dataset and artifacts are released on Huggingface Datasets

研究の動機と目的

• 深い関連度ジャッジを備えた中国語技術文書IR評価コレクションを作成する。
• 英語クエリを用いた中国語文書の単言語中国語IRおよび跨言語IRを可能にする。
• 第一段階とリランキングシステムを評価するための堅牢なベースラインとフュージョンリランキング設定を提供する。
• NeuCLIRの技術トピックを2023年と2024年から統合し、統一されたベンチマークを提供する。
• BM25を超える現代的なニューラルリトリーバーの評価を推進する。

提案手法

• 中国語CSL論文要約コレクション（約396k要約、1,980誌、2010–2020年）を組み立てる。
• 22名の院生と1名のポスドクによって、タイトル・説明・Narrativeを含む110件のTREC風トピックを作成。
• 2022–2024年のNeuCLIR実行から得られた、上位取得文書の関連度ジャッジを、中心情報と価値を含む階層的ジャッジで取得。
• 単言語中国語および跨言語（英語クエリ）評価設定を提供し、CLIR実験用の英語版はGoogle翻訳版を含む。
• 三つの第一段階リトリーバー（Qwen3-8B embeddings、PLAID-X、MILCO）を相互ランク・フュージョンで組み合わせたフュージョンベースラインを開発。
• フュージョンされた第一段階の結果を基に、FIRSTQwen-8Bおよび jina-reranker-v3 を含む様々なリランキング手法（点推定およびリスト推定）を評価する。

実験結果

リサーチクエスチョン

• RQ1 現代のニューラルリトリーバーは、技術ドメインの中国語IRにおいて従来のBM25ベースラインと比べてどうか。
• RQ2 ドキュメント言語が中国語でクエリが英語の場合、翻訳がCLIR性能に与える影響はどうか。
• RQ3 多様なリトリーバーのフュージョンは、単言語およびCLIRタスクの取得効果を個別モデルと比べて改善するか。
• RQ4 技術ドメインのデータセットにおいて、フュージョンベースのトップ-k結果を用いた場合、様々なリランキング手法はどの程度性能を向上させるか。
• RQ5 NeuCLIRTechにより明らかになった現在の跨言語技術ドメインIR手法の限界は何か。

主な発見

方法	単言語 nDCG@20	単言語ジャッジ@20	跨言語 nDCG@20	跨言語ジャッジ@20
BM25 w/ DT	–	–	0.237	1.00
BM25 w/ QT	0.290	0.99	0.274	1.00
BGE-M3 Sparse	0.307	0.75	0.044	0.13
e5 Large	0.233	0.55	0.151	0.43
RepLlama	0.269	0.59	0.245	0.56
Arctic-Embed Large v2	0.359	0.79	0.262	0.67
MILCO	0.253	0.56	0.264	0.66
JinaV3	0.382	0.79	0.305	0.68
PLAID-X	0.356	0.82	0.362	0.93
Qwen3 0.6B Embed	0.402	0.81	0.377	0.77
Fusion	0.438	0.92	0.431	0.96
Qwen3 4B Embed	0.469	0.84	0.450	0.83
Qwen3 8B Embed	0.480	0.87	0.472	0.87
Mono-mT5XXL	0.456	0.94	0.407	0.93
SEARCHER Reranker	0.351	0.78	0.419	0.86
Jina Reranker	0.489	0.92	0.446	0.90
Qwen3 0.6B Rerank	0.494	0.94	0.485	0.94
Qwen3 8B Rerank	0.521	0.95	0.508	0.94
Rank1	0.531	0.88	0.512	0.88
Qwen3 4B Rerank	0.522	0.94	0.526	0.94
RankZephyr 7B	0.434	0.92	0.432	0.96
FIRST Qwen3 8B	0.539	0.94	0.520	0.93
RankQwen-32B	0.541	0.94	0.526	0.94
Rank-K (QwQ)	0.542	0.94	0.533	0.94

• Qwen3-8B Embeddingは、単言語・跨言語の両方のタスクで最も強力な第一段階リトリーバーである。
• MILCOは、中国語語彙と指示的な多言語設定を用いる跨言語タスクでBM25を下回る。
• 三つの第一段階システム（Qwen3-8B、PLAID-X、MILCO）のフュージョンは、時としてフュージョンのみよりもリランキング性能を強化する。
• Jina-reranker-v3およびQwen3ベースのリランキングは、いくつかのベースラインより高いnDCG@20を達成し、単言語設定で顕著な改善を示す。
• 跨言語タスクでは、いくつかのリランキングが初期のフュージョンと比較して性能を低下させることがあり、CLIR固有の課題が浮き彫りになる。
• 表1は、単言語のnDCG@20値が最大0.531（Rank1）で、跨言語のnDCG@20値が最大0.542（Rank-K）に達することを示しており、手法間の識別性が大きいことを示す。