[論文レビュー] On the Privacy-Utility Tradeoff in Peer-Review Data Analysis

Wenxin Ding, Nihar B. Shah+1 more|arXiv (Cornell University)|Jun 29, 2020

Privacy-Preserving Technologies in Data参考文献 43被引用数 9

ひとこと要約

本稿では、レビュアーの個人情報を保護するためのプライバシー保護フレームワークを提案する。このフレームワークは、公開情報を利用してノイズの加えられたデータを後処理することで、プライバシーを損なわずかつ有用性を向上させる。ノイズの加えられた出力を、妥当な値の凸集合上に射影する手法を採用しており、ベースライン手法に比べて顕著な精度向上を達成するとともに、微分プライバシーの保証を維持し、多項式時間で動作する。

ABSTRACT

A major impediment to research on improving peer review is the unavailability of peer-review data, since any release of such data must grapple with the sensitivity of the peer review data in terms of protecting identities of reviewers from authors. We posit the need to develop techniques to release peer-review data in a privacy-preserving manner. Identifying this problem, in this paper we propose a framework for privacy-preserving release of certain conference peer-review data -- distributions of ratings, miscalibration, and subjectivity -- with an emphasis on the accuracy (or utility) of the released data. The crux of the framework lies in recognizing that a part of the data pertaining to the reviews is already available in public, and we use this information to post-process the data released by any privacy mechanism in a manner that improves the accuracy (utility) of the data while retaining the privacy guarantees. Our framework works with any privacy-preserving mechanism that operates via releasing perturbed data. We present several positive and negative theoretical results, including a polynomial-time algorithm for improving on the privacy-utility tradeoff.

研究の動機と目的

• ピアレビュー研究における重要な障壁である、レビュアーの個人情報保護に起因する、アクセス可能でプライバシー保護されたデータの不足に対処すること。
• プライバシーの保証を弱めることなく、ノイズの加えられたピアレビュー・データの正確性（有用性）を向上させる後処理フレームワークを設計すること。
• 以下の4つの主要な望ましい性質を満たすこと：有用性の損失なし、プライバシーの保護、多項式時間の計算複雑性、識別可能な状況での正確な回復。
• 科学的評価の公平性と効率性を向上させるために、実用的かつ正確なピアレビュー・データ分析を可能にすること。

提案手法

• 本フレームワークは、レビュアー数、論文の負荷、評価範囲といった、公開可能な情報を用いて、真の値の可能な範囲を制約する。
• 任意のプライバシー機構（例：ラプラスノイズ）のノイズの加えられた出力を、すべての妥当な真の評価分布を含む凸集合上に射影する多項式時間アルゴリズムを適用する。
• 凸集合は以下の制約を強制する：各評価値は0から1の間、評価値の合計が合計値と一致し、評価値が単調非減少である。
• 真の値の集合への直接射影を避けることで、精度の低下を防ぎ、代わりにプライバシーを保持しつつ有用性を向上させる緩和を用いる。
• アルゴリズムは以下の4つの望ましい性質を満たすように設計されている：有用性の損失なし、プライバシーの侵害なし、多項式時間の複雑性、可能な場合には正確な回復。
• 合成シミュレーションにより、ラプラスノイズを用いた微分プライバシー下でのさまざまなベータ分布評価モデルを用いて、手法の有効性を検証した。

実験結果

リサーチクエスチョン

• RQ1 プライバシーの保証を弱めることなく、プライバシー保護型ピアレビュー・データの有用性を向上させることは可能か？
• RQ2 ピアレビュー過程に関する公開可能な構造的情報をどう活用すれば、後処理の正確性を向上させられるか？
• RQ3 厳密なプライバシーおよび正確性制約を満たしつつ、プライバシーと有用性のトレードオフを改善する多項式時間アルゴリズムを設計することは可能か？
• RQ4 真の値集合への直接射影と比較して、妥当な値の凸包への射影は、正確性の面で優れていると期待できるか？
• RQ5 微分プライバシー下で、真の評価分布の推定における平均二乗誤差（MSE）をどの程度低減できるか？

主な発見

• 提案手法は、ベータ分布評価やさまざまな国際会議規模のシナリオを含む多様なシミュレーション設定において、ベースライン手法に比べてMSEが数倍改善された。
• ノイズの加えられた出力そのものや、ベースライン射影手法よりも一貫して優れた性能を示し、特にノイズ分散が高い場合（例：スケール2のラプラスノイズ）でも誤差低減が確認された。
• シミュレーションでは、公開データから真の値を正確に回復可能な状況では、近似的にゼロの誤差を維持したことが示され、正確な回復という望ましい性質を満たした。
• 計算効率が高く、多項式時間で動作するが、非常に大きな会議（例：NeurIPS、ICML）ではスケーリングの課題が残っている。
• 真の値集合への直接射影は精度を低下させることが示されたため、凸緩和を用いることの利点が明確になった。
• 本手法は一般性があり、微分プライバシーを含む任意のデータをノイズで変更する機構と互換性があり、評価値の分布、不一致度、主観性の分析などに応用可能である。