[論文レビュー] Submodular Optimization under Noise

Avinatan Hassidim, Yaron Singer|arXiv (Cornell University)|Jan 12, 2016

Complexity and Algorithms in Graphs参考文献 71被引用数 17

ひとこと要約

本稿は、乗法的誤差によって汚染される関数評価を伴うノイズの多いオракルにおける部分集合関数の最大化を研究している。関数評価が乗法的誤差によって汚染される状況において、$k \geq 2$ の場合に $1-1/e$ に限りなく近い近似比を達成する滑らか化されたグリーディアルゴリズムを提案し、$k=1$ の場合に $1/2$ を達成する。一方、敵対的ノイズの下では非自明な近似が不可能であることを示している。

ABSTRACT

We consider the problem of maximizing a monotone submodular function under noise. There has been a great deal of work on optimization of submodular functions under various constraints, resulting in algorithms that provide desirable approximation guarantees. In many applications, however, we do not have access to the submodular function we aim to optimize, but rather to some erroneous or noisy version of it. This raises the question of whether provable guarantees are obtainable in presence of error and noise. We provide initial answers, by focusing on the question of maximizing a monotone submodular function under a cardinality constraint when given access to a noisy oracle of the function. We show that: - For a cardinality constraint $k \geq 2$, there is an approximation algorithm whose approximation ratio is arbitrarily close to $1-1/e$; - For $k=1$ there is an algorithm whose approximation ratio is arbitrarily close to $1/2$. No randomized algorithm can obtain an approximation ratio better than $1/2+o(1)$; -If the noise is adversarial, no non-trivial approximation guarantee can be obtained.

研究の動機と目的

• 単調な部分集合関数の最大化において、基数制約のもとでノイズの多いオラクルにアクセスできる場合に、保証された近似性能を維持できるかどうかを調査すること。
• グリーディなどの既存のアルゴリズムが乗法的ノイズの下でどの程度の耐性を示せるかを特定すること。
• ノイズの多い関数評価に対しても近似的に最適な近似比を達成できる新しいアルゴリズムを開発すること。
• 異なるノイズモデル、特に敵対的ノイズと確率的ノイズの下での、最良の近似比の理論的限界を確立すること。

提案手法

• 繰り返しサンプリングを用いてノイズの多い関数評価を平滑化し、限界利得の推定値の分散を低減する『スムーズ・グリーディ』アルゴリズムを提案する。
• 大きな $k$ の場合に適した『スリック・グリーディ』アルゴリズムを導入し、ノイズのある評価下で候補集合を滑らかに比較するプロセスを用いる。
• 組み合わせ的平均化とサンプリング平均グリーディ手法を用いて、ノイズ下での限界寄与度の推定値を安定化させる。
• 加法的ノイズ、限界ノイズ、相関ノイズ、近似部分集合性を含むノイズモデルを分析し、特に乗法的ノイズに注目する。
• 高確率の集中不等式と情報理論的議論を用いて近似保証を導出する。
• ノイズ分布モデル $\widetilde{f}(S) = \xi_S f(S)$ を用い、$\xi_S \in [1-\epsilon, 1+\epsilon]$ とし、$\epsilon$ が近似品質に与える影響を研究する。

実験結果

リサーチクエスチョン

• RQ1 関数がノイズの多いオラクルを介してのみアクセス可能な場合、基数制約のもとで単調な部分集合関数の最大化に対して、定数倍近似が達成可能か。
• RQ2 ノイズが確率的である場合と敵対的である場合とで、達成可能な最良の近似比は何か。
• RQ3 標準的なグリーディアルゴリズムがわずかな乗法的ノイズの下でも失敗する理由は何か。また、耐性を持つ代替手法を設計できるか。
• RQ4 確率的ノイズの下で、$k \geq 2$ の場合に $1-1/e$ に限りなく近い近似比を達成できるか。
• RQ5 敵対的ノイズの下で近似に根本的な限界があるか。あるならば、その限界は何か。

主な発見

• $k \geq 2$ の場合、確率的乗法的ノイズの下で、$1-1/e$ に限りなく近い近似比を達成できる多項式時間アルゴリズムが存在する。
• $k=1$ の場合、近似比が $1/2$ に限りなく近いアルゴリズムが存在するが、任意の確率的アルゴリズムは $1/2 + o(1)$ を超えることはできない。
• 敵対的ノイズの下では、情報理論的限界のため、非自明な近似は不可能であり、指数的多数のクエリでさえも同様である。
• 標準的なグリーディアルゴリズムは任意の定数 $\epsilon > 0$ の下で失敗し、加法的関数ですら $O(1/k)$ の近似比しか達成できない。
• サンプリング平均グリーディアルゴリズムは、ノイズの多い関数が真の関数に近くても、近似比の観点で非常に悪くなる可能性がある。
• $n$ が小さい場合、ノイズの下では問題が扱いにくくなり、すべての部分集合が評価されない限り、近似比は任意に悪くなる可能性がある。