[논문 리뷰] On the Privacy-Utility Tradeoff in Peer-Review Data Analysis

Wenxin Ding, Nihar B. Shah외 1명|arXiv (Cornell University)|2020. 06. 29.

Privacy-Preserving Technologies in Data참고 문헌 43인용 수 9

한 줄 요약

이 논문은 심사자 신원 보호로 인해 개인정보가 보호되는 데이터 접근성이 떨어지는 문제를 해결하기 위해, 공개 정보를 활용해 노이즈가 첨부된 데이터를 후처리함으로써 평점 분포, 잘못된 보정, 주관성 등의 피어리뷰 데이터를 개인정보를 보호하면서도 유용성 향상시키는 프라이버시 보장 프레임워크를 제안한다. 이 방법은 노이즈가 첨부된 출력을 타당한 값의 볼록집합에 투영함으로써 기준 방법 대비 뚜렷한 정확도 향상을 이룬다. 이는 차별적 프라이버시 보장을 유지하면서 다항시간 내에 작동한다.

ABSTRACT

A major impediment to research on improving peer review is the unavailability of peer-review data, since any release of such data must grapple with the sensitivity of the peer review data in terms of protecting identities of reviewers from authors. We posit the need to develop techniques to release peer-review data in a privacy-preserving manner. Identifying this problem, in this paper we propose a framework for privacy-preserving release of certain conference peer-review data -- distributions of ratings, miscalibration, and subjectivity -- with an emphasis on the accuracy (or utility) of the released data. The crux of the framework lies in recognizing that a part of the data pertaining to the reviews is already available in public, and we use this information to post-process the data released by any privacy mechanism in a manner that improves the accuracy (utility) of the data while retaining the privacy guarantees. Our framework works with any privacy-preserving mechanism that operates via releasing perturbed data. We present several positive and negative theoretical results, including a polynomial-time algorithm for improving on the privacy-utility tradeoff.

연구 동기 및 목표

• 피어리뷰 연구의 핵심 장벽인 심사자 신원 보호로 인한 접근성 낮은 개인정보 보호 데이터의 부족 문제를 해결하기 위해.
• 개인정보 보호 보장을 약화시키지 않으면서도, 노이즈가 첨부된 피어리뷰 데이터의 정확도(유용성)를 향상시키기 위한 후처리 프레임워크를 설계하기 위해.
• 다음 네 가지 핵심 욕구를 충족시키기 위해: 유용성 손실 없음, 프라이버시 유지, 다항시간 복잡도, 식별 가능한 경우 정확한 복원 보장.
• 과학적 평가의 공정성과 효율성을 향상시키기 위해 실용적이고 정확한 피어리뷰 데이터 분석을 가능하게 하기 위해.

제안 방법

• 공개적으로 이용 가능한 정보—예를 들어 심사자 수, 논문 처리량, 평점 범위—를 활용해 진짜 값의 가능 공간을 제약한다.
• 어떤 개인정보 보장 메커니즘(예: 라플라스 노이즈)의 노이즈가 첨부된 출력을, 모든 타당한 진짜 평점 분포를 포함하는 볼록집합에 투영하는 다항시간 알고리즘을 적용한다.
• 볼록집합은 다음 제약 조건을 강제한다: 각 평점은 0에서 1 사이여야 하며, 평점의 합은 총계와 일치하고, 평점은 단조로운 비감소 성질을 가져야 한다.
• 진짜 값 집합에 직접 투영하는 것은 정확도를 떨어뜨릴 수 있으므로, 이는 정확도를 유지하면서도 프라이버시를 보존하는 데 유리한 방식으로, 볼록 풀림을 사용한다.
• 알고리즘은 다음 네 가지 핵심 욕구를 충족하도록 설계되었다: 유용성 손실 없음, 프라이버시 위협 없음, 다항시간 복잡도, 가능할 경우 정확한 복원 보장.
• 합성 시뮬레이션을 통해 다양한 베타분포 평점 모델을 사용하여, 라플라스 노이즈를 동반한 차별적 프라이버시 하에서 방법의 유효성을 검증하였다.

실험 결과

연구 질문

• RQ1 개인정보 보호 보장을 약화시키지 않으면서도, 개인정보 보장 피어리뷰 데이터의 유용성을 향상시킬 수 있는가?
• RQ2 피어리뷰 과정의 공개 가능한 구조적 정보를 어떻게 활용해 후처리 정확도를 향상시킬 수 있는가?
• RQ3 엄격한 프라이버시 및 정확도 제약 조건을 충족시키면서도 프라이버시-유용성 트레이드오프를 향상시키는 다항시간 알고리즘을 설계할 수 있는가?
• RQ4 타당한 값의 볼록껍데리에 투영하는 것이 진짜 값 집합에 직접 투영하는 것보다 정확도 면에서 뛰어나게 되는가?
• RQ5 이 프레임워크는 차별적 프라이버시 하에서 진짜 평점 분포 추정 시 평균 제곱오차를 어느 정도 줄일 수 있는가?

주요 결과

• 제안된 알고리즘은 다양한 시뮬레이션 환경(베타분포 평점, 다양한 컆퍼런스 규모 포함)에서 기준 방법 대비 평균 제곱오차(MSE)를 다배수로 개선하였다.
• 원시 노이즈가 첨부된 데이터와 기준 투영 방법보다 항상 뛰어난 성능을 보였으며, 고노이즈 분산 상황(예: 척도 2인 라플라스 노이즈)에서도 오차 감소가 관찰되었다.
• 시뮬레이션 결과, 진짜 값이 공개 데이터로부터 정확히 복원 가능한 경우 near-zero 오차를 유지함으로써 정확한 복원 욕구를 충족시켰다.
• 이 프레임워크는 계산적으로 효율적이며 다항시간 내에 작동하지만, 매우 큰 컆퍼런스(예: NeurIPS, ICML)에서는 확장성 문제가 남아 있다.
• 진짜 값 집합에 직접 투영하는 것은 정확도를 떨어뜨리는 것으로 밝혀져, 볼록 풀림을 사용하는 것이 유리함을 시사한다.
• 이 방법은 어떤 개인정보 보장 메커니즘(예: 차별적 프라이버시 포함)에 의해 데이터가 노이즈가 첨부된 경우에도 일반적으로 적용 가능하며, 평점 분포, 잘못된 보정, 주관성 등에 적용 가능하다.