[논문 리뷰] Reasoning over Public and Private Data in Retrieval-Based Systems

Simran Arora, Patrick A. Lewis외 3명|arXiv (Cornell University)|2022. 03. 14.

Privacy-Preserving Technologies in Data인용 수 4

한 줄 요약

이 논문은 공개 및 비공개 데이터에 대한 개인정보 보호를 고려한 자동회귀 정보 검색(PAIR) 프레임워크를 소개하고, 다중 분포, 다중 힙 질문 응답을 위한 ConcurrentQA 벤치마크를 제안하며, 기존 시스템이 이 설정에서 심각한 개인정보-성능 트레이드오프를 겪고 있음을 입증하고, 선택적 예측과 다중 데이터 분포에 대한 동시 검색을 통해 이를 완화할 수 있음을 보여준다.

ABSTRACT

Users and organizations are generating ever-increasing amounts of private data from a wide range of sources. Incorporating private data is important to personalize open-domain applications such as question-answering, fact-checking, and personal assistants. State-of-the-art systems for these tasks explicitly retrieve relevant information to a user question from a background corpus before producing an answer. While today's retrieval systems assume the corpus is fully accessible, users are often unable or unwilling to expose their private data to entities hosting public data. We first define the PUBLIC-PRIVATE AUTOREGRESSIVE INFORMATION RETRIEVAL (PAIR) privacy framework for the novel retrieval setting over multiple privacy scopes. We then argue that an adequate benchmark is missing to study PAIR since existing textual benchmarks require retrieving from a single data distribution. However, public and private data intuitively reflect different distributions, motivating us to create ConcurrentQA, the first textual QA benchmark to require concurrent retrieval over multiple data-distributions. Finally, we show that existing systems face large privacy vs. performance tradeoffs when applied to our proposed retrieval setting and investigate how to mitigate these tradeoffs.

연구 동기 및 목표

• 개인화된 애플리케이션을 위해 동시에 공개 및 비공개 데이터에 접근할 수 있는 개인정보 인식 기반 검색 시스템의 부재를 해결하기 위해.
• 기존의 다중 힙 검색 시스템이 공개 소스에서 검색할 때 비공개 데이터를 노출시켜 심각한 개인정보 유출 위험을 초래함을 규명하기 위해.
• 공개 및 비공개 데이터 분포에서 동시에 검색이 필요한 새로운 벤치마크인 ConcurrentQA를 제안하여, 다중 분포 검색을 평가할 수 있도록 하기 위해.
• 다양한 개인정보 범위를 가진 데이터를 처리할 때 검색 기반 시스템에서 개인정보 보호와 성능 간의 트레이드오프를 조사하기 위해.
• 선택적 예측 및 동시 검색과 같은 방법을 통해 개인정보 泄유를 줄이고 성능을 유지할 수 있는지 탐색하기 위해.

제안 방법

• 다중 개인정보 범위에 대한 검색을 체계화하기 위해 비공개 데이터가 공개 검색 중에 노출되지 않도록 보장하는 PAIR (Public-Private Autoregressive Information Retrieval) 프레임워크를 제안한다.
• 공개 및 비공개 데이터 분포에서 모두 검색이 필요하며, 두 소스에서의 정보가 필수적인 질문을 포함하는, 다중 힙 질문 응답 벤치마크인 ConcurrentQA를 설계한다.
• 각 힙에서 질문과 이전에 검색된 문서를 사용해 다음 문서를 검색하는 반복적이고 빔 서치 기반의 다중 힙 검색을 수행하지만, 검색 시퀀스에 개인정보 보호 제약 조건을 적용한다.
• 선택적 예측을 새로운 완화 전략으로 도입하여, 이전 힙에서 비공개 데이터가 포함되어 있을 경우 공개 데이터 검색을 피함으로써 노출 위험을 줄인다.
• 공개 및 비공개 코퍼스에 동시에 또는 병렬로 액세스할 수 있는 동시 검색 메커니즘을 개발하여, 비공개 데이터를 공개 시스템에 노출시킬 필요가 없도록 한다.
• 새로운 벤치마크에서 다양한 검색 전략의 성능을 평가하기 위해 스parse (BM25) 및 디ensa 검색 모델의 조합을 사용한다.

실험 결과

연구 질문

• RQ1 검색 기반 시스템이 사용자 개인정보를 훼손하지 않으면서도 공개 및 비공개 데이터를 모두 고려해 추론할 수 있는 방법은 무엇인가?
• RQ2 비공개 데이터가 공개 데이터 이전에 검색될 경우 자동회귀 다중 힙 검색이 초래하는 주요 개인정보 위험은 무엇인가?
• RQ3 공개 및 비공개 데이터 분포에 동시에 액세스가 필요한 벤치마크에서 기존의 검색 모델은 어떤 성능을 보이는가?
• RQ4 다중 소스, 다중 분포 설정에서 개인정보 보호와 검색 성능 간의 트레이드오프는 어떻게 존재하는가?
• RQ5 선택적 예측 또는 동시 검색 전략이 개인정보 泄유를 효과적으로 줄이고 높은 성능을 유지하는 데 기여할 수 있는가?

주요 결과

• 기존의 다중 힙 검색 시스템은 비공개 데이터를 공개 데이터 이전에 검색할 경우, 이후 공개 검색 단계에서 비공개 문서가 노출되어 심각한 개인정보 유출 위험을 노출한다.
• ConcurrentQA 벤치마크는 최신 검색 모델, 특히 디ensa 및 스parse 방법이 다중 분포 동시 검색 작업에서 성능이 크게 떨어지며, 단일 분포 설정 대비 성능 저하가 최대 75%에 이르는 것으로 드러났다.
• BM25와 같은 스parse 검색 모델이 일부 ConcurrentQA 질문에서 디ensa 모델보다 뛰어난 성능을 보이며, 개인정보 제약 조건이 있는 환경에서는 의미적 매칭이 항상 최적일 수 없음을 시사한다.
• 선택적 예측은 비공개 데이터가 이전 힙에 포함되어 있을 경우 공개 검색을 피하므로 개인정보 泄유를 크게 줄이지만, 이는 재현율과 성능 저하를 수반한다.
• 특히 다중 힙 시나리오에서 순차적 검색에 비해 다중 분포에 대한 동시 검색은 성능 향상과 개인정보 위험 감소를 동시에 달성한다.
• 본 연구는 현재의 벤치마크가 공개-비공개 검색 평가에 부적합하다는 점을 입증하며, 실제 개인정보 및 성능 트레이드오프를 평가하기 위해 ConcurrentQA와 같은 새로운 평가 프레임워크의 필요성을 제기한다.