[論文レビュー] Non-monotone DR-Submodular Function Maximization

Tasuku Soma, Yuichi Yoshida|arXiv (Cornell University)|Dec 3, 2016

Rough Sets and Fuzzy Logic被引用数 7

ひとこと要約

本稿では、非単調なDR-下位単調関数の最大化のための新規な多項式時間アルゴリズムを提示する。近似比は$\frac{1}{2+\epsilon}$、実行時間は$O(\frac{n}{\epsilon} \log^2 B)$であり、$n$は基底集合のサイズ、$B$は座標値の最大値を表す。本手法は、単純なグリーディ法と比較して$B$への依存を顕著に低減し、実世界および合成データセットにおいても近似最適解の品質を維持しながら、数個のオーダーの高速化を実現する。

ABSTRACT

We consider non-monotone DR-submodular function maximization, where DR-submodularity (diminishing return submodularity) is an extension of submodularity for functions over the integer lattice based on the concept of the diminishing return property. Maximizing non-monotone DR-submodular functions has many applications in machine learning that cannot be captured by submodular set functions. In this paper, we present a $\frac{1}{2+ε}$-approximation algorithm with a running time of roughly $O(\frac{n}ε\log^2 B)$, where $n$ is the size of the ground set, $B$ is the maximum value of a coordinate, and $ε> 0$ is a parameter. The approximation ratio is almost tight and the dependency of running time on $B$ is exponentially smaller than the naive greedy algorithm. Experiments on synthetic and real-world datasets demonstrate that our algorithm outputs almost the best solution compared to other baseline algorithms, whereas its running time is several orders of magnitude faster.

研究の動機と目的

• 機械学習の応用分野（例えば、予算配分や収益最大化）に現れる非単調なDR-下位単調関数の最大化という課題に取り組むこと。標準的な下位単調集合関数では捉えきれない。
• ボックス制約下での非単調DR-下位単調関数最大化に対して、保証された近似比を有する多項式時間アルゴリズムを設計すること。
• 単純なグリーディ法が$B$に線形に依存するのと比較し、実行時間の$B$への依存を低減すること。
• 特に、ソーシャルネットワークにおける口コミ効果を用いた収益最大化タスクを想定し、実世界のネットワークにおけるアルゴリズムの性能を評価すること。

提案手法

• 解空間を網羅的評価なしに効率的に探索できるように、適応的ステップサイズとしきい値機構を用いた修正グリーディ法を採用する。
• 候補解を維持し、逐次的に限界利得が最大の要素を選択することで改善を図る。動的しきい値を用い、時間経過とともに縮小させることで近似保証を確保する。
• 限界利得の減少性（DR-下位単調性）を活用して近似比を上限付け、解が最適解の$\frac{1}{2+\epsilon}$以内に収束することを保証する。
• 関数値は評価クエリを介してアクセスするオракルモデルを採用し、クエリ総数は$O(\frac{n}{\epsilon} \log^2 B)$で抑えられる。
• 大きな$B$に対しても耐性を持つように設計されており、限界利得のしきい値に基づく慎重なプルーニングと早期停止により、$B$への非線形的依存を実現する。
• 主な要素として、Fast-DGと呼ばれる高速グリーディ変種を採用し、$B$が大きい場合でもオラクル呼び出し回数を著しく削減しながら、高い解品質を維持する。

実験結果

リサーチクエスチョン

• RQ1 非単調DR-下位単調関数最大化に対して、多項式時間で定数近似比を達成することは可能か？
• RQ2 標準的なグリーディ法と比較して、実行時間の$B$への依存をどのように低減できるか？
• RQ3 提案手法は、特に$B$が大きな場合の実世界データセット（収益最大化タスクなど）においても高い解品質を維持するか？
• RQ4 多項式時間での定数近似が可能かどうかのためには、DR-下位単調性が必要か。それとも、より弱い概念（例えばラティス下位単調性）で十分か？

主な発見

• 提案されたFast-DGアルゴリズムは、非単調DR-下位単調関数最大化に対して$\frac{1}{2+\epsilon}$-近似を達成し、近似比はほぼタイトである。
• 実行時間は$O(\frac{n}{\epsilon} \log^2 B)$に比例し、単純なグリーディ法の$O(nB)$に比べて$B$への依存が指数的改善を示す。
• アドレッサの健康、Advogato、Twitterリストネットワークの3つのデータセットにおいて、$\epsilon = 0.5$または$\epsilon = 0.05$の設定でも、Fast-DGはSGおよびDGという最良のベースライン手法とほぼ同等の目的関数値を達成した。
• 解の品質は類似していたが、$B$が大きい場合、特に$B=10^6$のとき、Fast-DGはSGおよびDGと比較してオラクル呼び出し回数を2〜3桁減少させた。
• Lattice-DGベースラインは著しく劣っており、特に$B$が大きい場合に顕著で、効率的な近似を達成するためにはDR-下位単調性の重要性が浮き彫りになった。
• 異なるネットワークタイプや$B$の値に対しても、アルゴリズムの性能は安定しており、大規模応用への実用的スケーラビリティを示している。