[論文レビュー] Deletion Robust Submodular Maximization over Matroids

Paul Dütting, Federico Fusco+3 more|arXiv (Cornell University)|Jan 31, 2022

Privacy-Preserving Technologies in Data被引用数 4

ひとこと要約

本稿は、一般のマトロイド制約の下で削除耐性サブモジュラ最大化に対する、初めての定数因子近似アルゴリズムを提示する。空間計算量はほぼ最適に近い。集中処理設定では、要約サイズ O(k + d log k / ε²) で (3.582 + O(ε))-近似を達成する。ストリーミング設定では、同じ空間制約で (5.582 + O(ε))-近似を達成し、従来の Ω(kd) 空間要件と比べ顕著に改善されている。

ABSTRACT

Maximizing a monotone submodular function is a fundamental task in machine learning. In this paper, we study the deletion robust version of the problem under the classic matroids constraint. Here the goal is to extract a small size summary of the dataset that contains a high value independent set even after an adversary deleted some elements. We present constant-factor approximation algorithms, whose space complexity depends on the rank $k$ of the matroid and the number $d$ of deleted elements. In the centralized setting we present a $(3.582+O(\varepsilon))$-approximation algorithm with summary size $O(k + \frac{d \log k}{\varepsilon^2})$. In the streaming setting we provide a $(5.582+O(\varepsilon))$-approximation algorithm with summary size and memory $O(k + \frac{d \log k}{\varepsilon^2})$. We complement our theoretical results with an in-depth experimental analysis showing the effectiveness of our algorithms on real-world datasets.

研究の動機と目的

• 一般のマトロイド制約の下で削除耐性サブモジュラ最大化のための空間効率の良いアルゴリズムを設計すること。
• 最大 d 個の要素が敵対的削除を受けても定数因子近似保証を達成すること。
• 従来の Ω(kd) 空間要件から、O(k + d log k / ε²) に空間計算量を低減し、情報理論的下界に近づけること。
• 多様な実世界データセットにおいてアルゴリズムの性能を理論的および実験的に検証すること。
• ε の影響を分析することで、理論的保証と実践的性能のギャップを埋めること。

提案手法

• 敵対的削除に耐える可能性の高い要素を含む、サイズ O(k + d log k / ε²) の要約集合 W を構築する。
• 要素の限界寄与度に基づくバケツ戦略を用い、現在の解への寄与度ごとに要素をグループ化する。
• 集中処理設定では、任意の d 個の削除に対しても耐性を持つように、確率的サンプリングを組み込んだ修正グリーディ選択を適用する。
• ストリーミング設定では、リザーバー・サンプリングと段階的更新を用いて動的要約を維持し、近似保証を保持する。
• 非耐性問題における (e/(e-1))-近似要因（≈1.582）をベースラインとし、耐性のための追加コストとして 2 または 4 を加算する。
• 最悪の削除パターンを考慮しつつ、選択された要素の期待的生存確率を制限する、新しい分析フレームワークを導入する。

実験結果

リサーチクエスチョン

• RQ1 空間計算量を情報理論的最小限に近づけた状態で、一般のマトロイド上での削除耐性サブモジュラ最大化に対して定数因子近似を達成できるか？
• RQ2 敵対的削除によって d 個の要素が削除された状況下で、定数因子近似を維持するために必要な最小の要約サイズは何か？
• RQ3 robustness パrameter ε が増加するにつれて近似保証はどのように劣化するか？理論的下限と比較するとどうなるか？
• RQ4 k と d に対して乗法的依存関係を持たない空間計算量で、定数因子近似を維持するストリーミングアルゴリズムを設計できるか？
• RQ5 なぜ実験的結果が理論的最悪ケースの境界を著しく上回るのか？これは敵対的モデルの楽観的でない仮定が示唆するものとは何か？

主な発見

• 集中処理アルゴリズムは、要約サイズ O(k + d log k / ε²) で (3.582 + O(ε))-近似を達成し、従来の O(kd) 空間計算量を改善している。
• ストリーミングアルゴリズムは、同じ空間計算量で (5.582 + O(ε))-近似を達成し、理論的下界に対数的要因を除いて一致している。
• 実験的結果では、ε が小さくなるほど性能が向上し、アルゴリズムが理論的最悪ケース境界を常に上回っている。
• Facebook、MovieLens、RunInRome、Uber のすべての実験において、提案アルゴリズムは特に ε が小さい場合にほぼ最適な性能を達成している。
• 理論と実践のギャップは、敵対的アドバーサリーが常に最も価値のある要素を削除すると仮定している楽観的でない仮定に起因する。
• アルゴリズムは耐性とスケーラビリティを示しており、異なるデータ分布や削除パターンに対しても安定した性能を発揮している。