[論文レビュー] Robust Maximization of Non-Submodular Objectives

Ilija Bogunovic, Junyao Zhao+1 more|arXiv (Cornell University)|Feb 20, 2018

Complexity and Algorithms in Graphs参考文献 43被引用数 18

ひとこと要約

本稿では、基数制約および悪意ある削除制約の下で、単調非下位モジュラ関数の強力な最大化のための新しいアルゴリズムであるOblivious-Greedyを提案する。最大τ = ck個の要素が削除される状況において、非下位モジュラな目的関数に対して、初めて定数倍近似保証を提供する。理論的境界は下位モジュラ比と、新たな逆曲率パラメータに依存し、サポート選択および分散低減タスクで検証されている。

ABSTRACT

We study the problem of maximizing a monotone set function subject to a cardinality constraint $k$ in the setting where some number of elements $τ$ is deleted from the returned set. The focus of this work is on the worst-case adversarial setting. While there exist constant-factor guarantees when the function is submodular, there are no guarantees for non-submodular objectives. In this work, we present a new algorithm Oblivious-Greedy and prove the first constant-factor approximation guarantees for a wider class of non-submodular objectives. The obtained theoretical bounds are the first constant-factor bounds that also hold in the linear regime, i.e. when the number of deletions $τ$ is linear in $k$. Our bounds depend on established parameters such as the submodularity ratio and some novel ones such as the inverse curvature. We bound these parameters for two important objectives including support selection and variance reduction. Finally, we numerically demonstrate the robust performance of Oblivious-Greedy for these two objectives on various datasets.

研究の動機と目的

• 悪意ある要素削除の下で非下位モジュラな目的関数の強力な最大化に対して理論的保証が不足している問題に対処すること。
• 下位モジュラ関数にとどまらず、より広い非下位モジュラな目的関数のクラスへ、定数倍近似保証を拡張すること。
• 予算kに比例して削除数τが線形に増加する線形領域において、理論的境界が成立することを保証すること。
• サポート選択や分散低減といった実用的関数の下位モジュラ比および逆曲率を境界づけること。
• Oblivious-Greedyが実データおよび合成データにおいて、Greedyおよび無関心選択（oblivious selection）よりも、ロバスト性および一般化性能に優れていることを実験的に示すこと。

提案手法

• 最悪の削除に対して耐性を持つように設計された、修正された限界利益基準に基づく要素選択を行う、グリーディー風のアルゴリズムであるOblivious-Greedyを提案する。
• 悪意ある削除の下での非下位モジュラ関数のロバスト性を特徴付ける新しい指標として、逆曲率パラメータを導入する。
• 下位モジュラ比γおよび逆曲率を用いて、Oblivious-Greedyの理論的近似保証を確立し、τ = ck（c ∈ (0,1)）の状況で定数倍性能を証明する。
• サポート選択（(m,L)-スムーズかつ強く凹関数を介して）および分散低減（ガウス過程ベースの目的関数を介して）の2つの主要な目的関数について、下位モジュラ比および逆曲率を境界づける。
• 変動するτの下で、合成データおよびMNISTデータ上で、Oblivious-GreedyとGreedy、無関心選択を比較する実験を設計する。
• ロジスティック回帰および分散低減タスクを用いて、削除が増加する中での汎化誤差および目的関数値のロバスト性を評価する。

実験結果

リサーチクエスチョン

• RQ1 悪意ある削除の下で非下位モジュラな目的関数の強力な最大化に対して、定数倍近似保証を確立できるか？
• RQ2 従来の下位モジュラ関数の保証が、τ = ck（c ∈ (0,1)）の線形領域に拡張可能か？
• RQ3 逆曲率のような新たなパラメータを用いて、非下位モジュラな設定におけるロバスト性を特徴づけられるか？
• RQ4 下位モジュラ比および逆曲率の理論的境界が、サポート選択および分散低減の実用的性能にどのように反映されるか？
• RQ5 Oblivious-Greedyは、悪意ある削除が増加する中で、Greedyおよび無関心選択よりもロバスト性および一般化性能に優れているか？

主な発見

• Oblivious-Greedyは、任意のc ∈ (0,1)に対して、τ = ckの状況で非下位モジュラな目的関数の強力な最大化に対して、初めての定数倍近似保証を達成した。
• 理論的境界は下位モジュラ比γおよび新たな逆曲率パラメータに依存し、サポート選択および分散低減の目的関数に対して明示的な境界が導出された。
• 100スパース特徴を持つ合成データにおいて、Oblivious-Greedyは目的関数値および一般化誤差の両面でGreedyおよび無関心選択を上回り、τが増加するにつれて顕著に優位性を示した。
• 10クラスのロジスティック回帰を用いたMNISTデータでは、τが増加するにつれてOblivious-GreedyはGreedyを常に上回り、特にτ = 45の時点で顕著な優位性を示した。
• ガウス過程ベースの目的関数を用いた分散低減タスクでは、Oblivious-Greedyは常にGreedyおよび無関心選択を上回り、αが増加する（点間相関が低くなる）ほど顕著に優位性を示した。
• τが増加するに従い、Greedyの性能低下はOblivious-Greedyよりも著しく急激であり、提案手法のロバスト性を裏付けた。