[論文レビュー] Fast and Private Submodular and $k$-Submodular Functions Maximization with Matroid Constraints

Akbar Rafiey, Yuichi Yoshida|arXiv (Cornell University)|Jun 28, 2020

Privacy-Preserving Technologies in Data参考文献 33被引用数 9

ひとこと要約

本稿では、マトロイド制約下での単調なサブモジュラ関数および$k$-サブモジュラ関数の最大化のためのプライバシー保護アルゴリズムを提示する。サブモジュラ関数最大化では、ほぼ立方関数評価で$(1 - 1/e)$-近似を得られ、$k$-サブモジュラ関数最大化ではほぼ線形評価で$\frac{1}{2}$-近似が達成され、両者とも強いプライバシー保証を維持する。

ABSTRACT

The problem of maximizing nonnegative monotone submodular functions under a certain constraint has been intensively studied in the last decade, and a wide range of efficient approximation algorithms have been developed for this problem. Many machine learning problems, including data summarization and influence maximization, can be naturally modeled as the problem of maximizing monotone submodular functions. However, when such applications involve sensitive data about individuals, their privacy concerns should be addressed. In this paper, we study the problem of maximizing monotone submodular functions subject to matroid constraints in the framework of differential privacy. We provide $(1-\\frac{1}{\\mathrm{e}})$-approximation algorithm which improves upon the previous results in terms of approximation guarantee. This is done with an almost cubic number of function evaluations in our algorithm. Moreover, we study $k$-submodularity, a natural generalization of submodularity. We give the first $\\frac{1}{2}$-approximation algorithm that preserves differential privacy for maximizing monotone $k$-submodular functions subject to matroid constraints. The approximation ratio is asymptotically tight and is obtained with an almost linear number of function evaluations.

研究の動機と目的

• マトロイド制約下での単調サブモジュラ関数の最大化のためのプライバシー保護アルゴリズムを開発し、強いプライバシー保証を維持すること。
• サブモジュラの一般化であり、より豊かな組合せ的構造をモデル化できる$k$-サブモジュラ関数へフレームワークを拡張すること。
• 非プライベートなアルゴリズムで達成可能な最良の近似比を再現することにより、理論的最適性を確保すること。
• 関数評価回数を最小限に抑えることで、実用的な効率性を実現すること。
• 個人情報が含まれる応用分野（例：特徴選択やインフルエンス最大化）において、個人のプライバシーを損なわずに対応すること。

提案手法

• 関数の感度に比例するノイズを追加することで、$(\epsilon, \delta)$-微分的プライバシーを確保する出力摂動と指数機構を用いる。
• マトロイドのランク$r(\mathcal{M})$に等しい回数の反復的選択プロセスを用い、段階的に妥当な解を構築する。
• 各ステップで、$\exp(\epsilon' \Delta_{e,i} F_D(\mathbf{x}))$に比例する確率で要素と$k$-サブモジュラ成分の割り当てを選択し、性能とプライバシーのバランスを取る。
• 各ステップで探索空間をランダムにサンプリングすることで、効率性を向上させつつ妥当性を維持する。
• 複数のステップおよび関数評価における全体のプライバシー損失を抑え、合成定理を用いる。
• 感度に配慮した設計を導入し、プライバシー予算を関数の感度$\Delta$およびマトロイドのランク$r(\mathcal{M})$に基づいて割り当てる。

実験結果

リサーチクエスチョン

• RQ1 マトロイド制約下での単調サブモジュラ関数最大化のためのプライバシー保護アルゴリズムを設計でき、最適な$1 - 1/e$近似比を達成できるか？
• RQ2 プライベートなサブモジュラ関数最大化フレームワークを、1つの要素に対して複数の割り当てを許容する$k$-サブモジュラ関数へ拡張できるか？
• RQ3 マトロイド制約下で$k$-サブモジュラ関数最大化のための定数倍近似を達成できるか、かつほぼ線形の関数評価回数で実現できるか？
• RQ4 組合せ最適化において、機微なデータが存在する状況で、プライバシー損失と近似品質のバランスをどのように取れるか？
• RQ5 これらの問題に対して、微分的プライバシーのもとで定数倍近似を達成するために必要な最小の関数評価回数は何か？

主な発見

• マトロイド制約下での単調サブモジュラ関数最大化のための提案アルゴリズムは、$1 - 1/e$の近似比を達成し、非プライベートな手法で得られる最良の結果と一致する。
• 関数は最大$O(|E|^{3})$回評価され、これはほぼ立方関数評価であり、従来の非プライベート手法よりも顕著に高速である。
• $k$-サブモジュラ関数最大化では、$\frac{1}{2}$-近似比が達成され、これは漸近的にタイトであり、非プライベート手法の最良の近似と一致する。
• $k$-サブモジュラ関数アルゴリズムは、$O(k|E|\ln r(\mathcal{M})\ln \frac{r(\mathcal{M})}{\gamma})$回の関数評価しか使用せず、ほぼ線形の複雑さを達成する。
• アルゴリズムは$O(\epsilon r(\mathcal{M}))$-微分的プライバシーを維持しており、関数の感度に基づく強いプライバシー保証を確保する。
• 理論的境界は、広告枠割り当てと多資源施設立地問題の2つの動機づけられる例を通じて検証され、両者とも機微なデータを含む。