[論文レビュー] Deletion-Robust Submodular Maximization at Scale

Ehsan Kazemi, Morteza Zadimoghaddam+1 more|arXiv (Cornell University)|Nov 20, 2017

Privacy-Preserving Technologies in Data参考文献 25被引用数 3

ひとこと要約

本稿は、プライバシーまたは公平性の制約によるデータ削除に対しても性能を維持できる、初めてのメモリ効率的でスケーラブルなアルゴリズムを、基数制約下での削除耐性サブモジュラ最大化に提案する。中央集権的およびストリーミング環境では(1/2 − δ)-近似を達成し、分散環境では0.218 − δの近似を達成する。これは、最大d個の敵対的要素が削除された場合でも成立する。これらの手法はコアセット構築と耐性のあるグリーディ選択を用い、プライバシーまたは公平性の制約によるデータ削除に対しても性能を維持する。

ABSTRACT

Can we efficiently extract useful information from a large user-generated dataset while protecting the privacy of the users and/or ensuring fairness in representation. We cast this problem as an instance of a deletion-robust submodular maximization where part of the data may be deleted due to privacy concerns or fairness criteria. We propose the first memory-efficient centralized, streaming, and distributed methods with constant-factor approximation guarantees against any number of adversarial deletions. We extensively evaluate the performance of our algorithms against prior state-of-the-art on real-world applications, including (i) Uber-pick up locations with location privacy constraints; (ii) feature selection with fairness constraints for income prediction and crime rate prediction; and (iii) robust to deletion summarization of census data, consisting of 2,458,285 feature vectors.

研究の動機と目的

• プライバシーや公平性の懸念によるデータ要素の削除に対して、従来のサブモジュラ最適化手法に見られる耐性の欠如を解消すること。
• 事前にどの要素が削除されるかを知らないまま、最大d個の要素が敵対的に削除された後でも高いユーティリティを維持できるアルゴリズムを開発すること。
• 中央集権的およびストリーミングモデルでは(1/2 − δ)、分散モデルでは0.218 − δの定数因子近似保証を達成すること。この保証はdに依存しないこと。
• メモリ使用量を最小限に抑えることで、解のサイズがdに対して非線形にスケーリングされるようにし、大規模データセットへの大規模な展開を可能にすること。
• プライバシー保護型データ要約や公平な特徴選択を含む実世界の応用において実用的価値を示すこと。

提案手法

• コアセット構築を用いる中央集権的アルゴリズム「Robust-Centralized」を提案。(1/2 − δ)-近似を達成し、メモリ使用量はO(k + d log k / δ²)。
• ストリーミング環境向けに「Robust-Streaming」を設計。O(k log k / δ + d log²k / δ³)のメモリ使用量で、耐性のあるグリーディ選択により(1/2 − δ)-近似を達成。
• m台のマシンを用いる分散アルゴリズム「Robust-Distributed」を導入。0.218 − δの近似を達成し、メモリ使用量はO(m(k + d log k / δ²))。
• メモリ最適化版として「Compact-Distributed」を提案。O(k + d log k / δ²)の総メモリ使用量で0.109 − δの近似を達成。
• データ要約の目的関数として類似度ベースの関数を採用：f(S) = ∑_{x∈S} ∑_{x'∈S, x'≠x} (1 − ||x−x'||/√68)，ペアワイズ類似度をモデル化。
• コアセット技術を用いて、d個の要素が削除された後でも有効性を保つ代表的サブセットを事前に計算する。

実験結果

リサーチクエスチョン

• RQ1 任意のd個の敵対的要素が削除された後でも効果的である、スケーラブルなサブモジュラ最大化アルゴリズムを設計できるか。この削除が事前に分かっていない場合でも成立するか。
• RQ2 削除耐性サブモジュラ最適化において、定数因子近似保証を維持しながらメモリ使用量を最小限に抑える方法は何か。
• RQ3 主記憶に収まりきらないほど大きなデータに対して、ストリーミングおよび分散環境でも耐性を発揮できるか。
• RQ4 感度の高いまたはバイアスのかかっている特徴が削除された場合、削除耐性アルゴリズムの性能は、標準的なグリーディ法と比べてどの程度優れるか。
• RQ5 プライバシーや公平性の制約を伴う実世界の応用において、削除耐性アルゴリズムはどの程度のユーティリティを維持できるか。

主な発見

• Robストリーミングは、dに比例してメモリが増加する既存手法とは異なり、dの対数関数的増加に抑えられ、(1/2 − δ)-近似を達成。
• Uberのピックアップポイントデータセットでは、位置プライバシー制約下で、提案手法が最先端の手法を上回り、最大10%のデータ削除後でも高いユーティリティを維持した。
• 犯罪発生率予測タスクでは、中央集権的およびストリーミングアルゴリズムがそれぞれRMSE 0.163および0.177を達成し、標準的グリーディ法（RMSE 0.193）を上回った。両手法は削除される特徴を事前に知らない状態でも優れた性能を示した。
• Census1990データセット（245万件）では、Robust-Distributedが正規化された目的関数値1.0以上を達成し、削除された要素の集合を事前に知っていたベースラインをも上回ったことを示した。
• 分散アルゴリズムは、245万件のデータポイントを要約する際、平均して約4,500件（1台あたり約450件）のアイテムしか格納せず、80%の削除率下でも高いメモリ効率を示した。
• Robust-Distributedは、ランダム削除および性別に基づく削除戦略の両方において、80%の削除率下でも強力な性能を維持し、極端な状況下でも耐性があることを確認した。