[論文レビュー] Overview of the TREC 2020 Fair Ranking Track

Asia J. Biega, Fernando Díaz+3 more|arXiv (Cornell University)|Aug 11, 2021

Ethics and Social Impacts of AI参考文献 11被引用数 7

ひとこと要約

本論文は、経済発展水準（先進国対発展途上国）に基づく著者グループの露出を最適化することで、学術検索における公平性と関連性のバランスを評価するTREC 2020 Fair Ranking Trackを提示する。最良のシステムは外部データ（例：Google Scholar）とクエリレベルの順列を入れ替えにより露出の不平等を低減し、再順序付けタスクで最小 $Δ_{\mathcal{G}}$ 0.428を達成した。

ABSTRACT

This paper provides an overview of the NIST TREC 2020 Fair Ranking track. For 2020, we again adopted an academic search task, where we have a corpus of academic article abstracts and queries submitted to a production academic search engine. The central goal of the Fair Ranking track is to provide fair exposure to different groups of authors (a group fairness framing). We recognize that there may be multiple group definitions (e.g. based on demographics, stature, topic) and hoped for the systems to be robust to these. We expected participants to develop systems that optimize for fairness and relevance for arbitrary group definitions, and did not reveal the exact group definitions until after the evaluation runs were submitted.The track contains two tasks,reranking and retrieval, with a shared evaluation.

研究の動機と目的

• 学術検索における関連性と公平性をバランスさせるランク付けシステムを評価すること。特に、経済発展背景の異なる著者に対する均等な露出を確保すること。
• グループ定義が未知である状況下でのシステムの頑健性を評価すること。グループラベルは評価後に提供された。
• ブラウジングモデルと指標ベースの評価を用いて、著者グループ間での期待露出の差を測定・最適化すること。
• 関連性を損なわせることなく公平性を向上させるために、外部データの利用とクエリレベルのランダム化を促進すること。
• 実世界のコーパスとクエリデータを用いて、学術検索における公平ランク付けの標準的ベンチマークを提供すること。

提案手法

• 各著者の露出の期待値を、文書の順位と関連性に基づき、割引係数 $\gamma = 0.5$ を用いたブラウジングモデルで計算した。
• グループ露出 $\mathcal{E}_g$ を、国と経済発展水準に基づく著者グループ割り当てを用いて、グループ $g$ 内の個々の著者露出の合計として定義した。
• システムの評価には $\Delta_{\mathcal{G}} = \left(\sum_{g\in\mathcal{G}}(\mathcal{E}_g - \mathcal{E}_g^*)^2\right)^{1/2}$ を用い、$\mathcal{E}_g^*$ は関連性低下順列ポリシーから導出された目標露出とした。
• 186GBのSemantic Scholar Open Corpusからなるコーパスを提供した。これには、論文メタデータ、著者データ、引用ネットワークが含まれる。
• 実世界のクエリインプレッションの変動をモデル化するため、1クエリあたり複数の順序付けを許可した。システムはテスト再順序付けセットを検索学習に使用してはならないとされた。
• 共通のクエリを用いて、再順序付け（クエリ固有の文書再順序付け）と検索（100件の文書を含むコーパスレベルの順序付け）の両方のタスクを評価可能とした。

実験結果

リサーチクエスチョン

• RQ1 グループ定義の事前知識なしに、異なる経済発展水準の著者グループにわたる露出を公平に分配するランク付けシステムは、どのように設計できるか？
• RQ2 外部データソース（例：Google Scholar、事前学習済み埋め込み）は、学術検索のランク付けにおける公平性をどの程度向上できるか？
• RQ3 公平ランク付けにおける関連性と露出差のトレードオフは何か？ そして、定量的に測定・最適化するにはどうすればよいか？
• RQ4 クエリレベルの順列とランダム化戦略は、著者グループ間の露出差を低減するためにどの程度有効か？
• RQ5 公平性に配慮した目的関数を持つ学習によるランク付けモデルは、学術検索における関連性と公平性のバランスをより良く実現できるか？

主な発見

• 最良の再順序付けシステム（NLE_META_9_1）は $\Delta_{\mathcal{G}}$ 0.428を達成し、露出差が最小限に抑えられた高い公平性を示した。
• 外部データ（例：Google Scholar）とクエリレベルの順列（例：ランダム化またはアモアタイゼーション）を用いたシステムは、内部特徴のみに依存するものよりも一貫して優れた性能を示した。
• トップの再順序付けランクは高い関連性を示したが、露出差は低く抑えられていた。これは、公平性の向上が主に露出の不均衡低減に起因していることを示唆している。
• 検索タスクでは $\Delta_{\mathcal{G}}$ 値がより高かった。最良のランク（UW_t_bm25）は0.748を達成し、スケール上で公平性をバランスさせる課題がより大きいことを示した。
• 出版年を特徴量として組み込み、グラフベースの著者コミュニティを用いてグループ検出を行うことは、上位の提出物で公平性向上に寄与した画期的な戦略であった。
• 1クエリあたり複数の順序付けを用いることで、実世界の露出ダイナミクスのモデル化が向上し、公平性評価の正確性も向上した。