[論文レビュー] Reasoning over Public and Private Data in Retrieval-Based Systems

Simran Arora, Patrick A. Lewis+3 more|arXiv (Cornell University)|Mar 14, 2022

Privacy-Preserving Technologies in Data被引用数 4

ひとこと要約

本稿では、公開データおよび非公開データの両方に対するプライバシー保護型検索を実現するための Public-Private Autoregressive Information Retrieval (PAIR) フレームワークを紹介し、複数のデータ分布にわたる多段階質問応答を評価するための ConcurrentQA ベンチマークを提案する。また、既存のシステムがこの文脈において顕著なプライバシーとパフォーマンスのトレードオフに直面していることを示し、その問題を選択的予測と複数データ分布への同時検索によって軽減できることを示している。

ABSTRACT

Users and organizations are generating ever-increasing amounts of private data from a wide range of sources. Incorporating private data is important to personalize open-domain applications such as question-answering, fact-checking, and personal assistants. State-of-the-art systems for these tasks explicitly retrieve relevant information to a user question from a background corpus before producing an answer. While today's retrieval systems assume the corpus is fully accessible, users are often unable or unwilling to expose their private data to entities hosting public data. We first define the PUBLIC-PRIVATE AUTOREGRESSIVE INFORMATION RETRIEVAL (PAIR) privacy framework for the novel retrieval setting over multiple privacy scopes. We then argue that an adequate benchmark is missing to study PAIR since existing textual benchmarks require retrieving from a single data distribution. However, public and private data intuitively reflect different distributions, motivating us to create ConcurrentQA, the first textual QA benchmark to require concurrent retrieval over multiple data-distributions. Finally, we show that existing systems face large privacy vs. performance tradeoffs when applied to our proposed retrieval setting and investigate how to mitigate these tradeoffs.

研究の動機と目的

• パーソナライズドアプリケーションにおいて、公開および非公開データを同時にアクセスできるプライバシーに配慮した検索システムの不足に対処すること。
• 現在の多段階検索システムが、非公開データを公開ソースから検索する際に、深刻なプライバシー上の脆弱性を引き起こしていることの特定。
• 複数のデータ分布（公開および非公開）への同時検索を要件とする、新しいベンチマークである ConcurrentQA の提案。
• 異なるプライバシー範囲のデータを扱う際の、検索ベースのシステムにおけるプライバシーとパフォーマンスのトレードオフを調査すること。
• 選択的予測や同時検索などの手法が、パフォーマンスを維持しつつプライバシー漏洩を効果的に軽減できるかを検討すること。

提案手法

• 複数のプライバシー範囲における検索を形式化し、非公開データが公開検索中に露呈されないことを保証するため、PAIR（Public-Private Autoregressive Information Retrieval）フレームワークを提案。
• 質問が公開および非公開データ両方からの情報が必要なため、公開および非公開データ分布からの検索を要件とする、最初の多段階質問応答ベンチマークである ConcurrentQA を設計。
• 反復的かつビームサーチに基づく多段階検索を採用し、各段階で質問と以前に取得した文書を用いて次の文書を検索するが、検索の順序にプライバシー制約を適用。
• 選択的予測を緩和戦略として導入し、以前の段階で非公開データが関与する場合には、公開データの検索を回避することで、露出リスクを低減。
• 同時にまたは並列に公開および非公開のコーパスにアクセスできる同時検索メカニズムを開発し、非公開データを公開システムにさらす必要を回避。
• 新しいベンチマークにおける異なる検索戦略のパフォーマンスを評価するために、スパars（BM25）およびディンス（dense）検索モデルの組み合わせを用いる。

実験結果

リサーチクエスチョン

• RQ1 検索ベースのシステムは、ユーザーのプライバシーを損なわずに、公開および非公開データの両方を処理して推論できるようにどのように設計できるか？
• RQ2 非公開データを公開データの検索よりも先に取得する際、自己回帰的多段階検索によって引き起こされる主なプライバシーリスクは何か？
• RQ3 公開および非公開データ分布への同時アクセスを要件とするベンチマークにおいて、既存の検索モデルのパフォーマンスはどの程度か？
• RQ4 複数のソースおよび複数のデータ分布を扱う文脈において、プライバシー保護と検索パフォーマンスの間にはどのようなトレードオフがあるか？
• RQ5 選択的予測や同時検索戦略が、パフォーマンスを維持しつつ、プライバシー漏洩を効果的に低減できるか？

主な発見

• 既存の多段階検索システムは、非公開データを公開データの検索よりも先に取得する場合、その後の公開検索ステップで非公開文書が露出する可能性があるため、顕著なプライバシーリスクを抱えている。
• ConcurrentQA ベンチマークは、最先端の検索モデル（包括的およびスパース手法を含む）が、公開および非公開検索を同時に処理するタスクにおいて、単一のデータ分布設定と比較して最大75％のパフォーマンス低下を示していることを明らかにした。
• スパース検索モデル（例：BM25）は、特定の ConcurrentQA の質問においてディンスモデルを上回る性能を示しており、プライバシー制約のある文脈では、意味的マッチングが常に最適とは限らない可能性を示唆している。
• 選択的予測は、非公開データが関与する段階では公開検索を回避することで、プライバシー漏洩を顕著に低減するが、その代わりリコールとパフォーマンスが低下する。
• 特に多段階シナリオにおいて、複数のデータ分布への同時検索は、逐次的検索と比較してパフォーマンスを向上させるとともに、プライバシーのリスクを低減する。
• 本研究では、現在のベンチマークが公開・非公開検索を評価するのに不十分であることが示され、実世界のプライバシーとパフォーマンスのトレードオフを評価するには、ConcurrentQA のような新しい評価フレームワークの導入が不可欠であることが明らかになった。