[論文レビュー] "Bring Your Own Greedy"+Max: Near-Optimal 1/2-Approximations for Submodular Knapsack.

Dmitrii Avdiukhin, Grigory Yaroslavtsev+1 more|arXiv (Cornell University)|Jan 1, 2019

Complexity and Algorithms in Graphs被引用数 2

ひとこと要約

本稿では、部分解に含まれない最良のアイテムを追加することで、部分的グリーディ解を強化する、新しいアルゴリズムフレームワーク「Bring Your Own Greedy+Max」を導入する。このフレームワークは、オффライン、ストリーミング、分散環境の3つの設定において、最小限の計算コストでほぼ最適な(1/2−ϵ)-近似解を達成し、実データセット上での理論的最悪ケース境界を上回る性能を示す。

ABSTRACT

The problem of selecting a small-size representative summary of a large dataset is a cornerstone of machine learning, optimization and data science. Motivated by applications to recommendation systems and other scenarios with query-limited access to vast amounts of data, we propose a new rigorous algorithmic framework for a standard formulation of this problem as a submodular maximization subject to a linear (knapsack) constraint. Our framework is based on augmenting all partial Greedy solutions with the best additional item. It can be instantiated with negligible overhead in any model of computation, which allows the classic \greedy algorithm and its variants to be implemented. We give such instantiations in the offline (Greedy+Max), multi-pass streaming (Sieve+Max) and distributed (Distributed+Max) settings. Our algorithms give ($1/2-\epsilon$)-approximation with most other key parameters of interest being near-optimal. Our analysis is based on a new set of first-order linear differential inequalities and their robust approximate versions. Experiments on typical datasets (movie recommendations, influence maximization) confirm scalability and high quality of solutions obtained via our framework. Instance-specific approximations are typically in the 0.6-0.7 range and frequently beat even the $(1-1/e) \approx 0.63$ worst-case barrier for polynomial-time algorithms.

研究の動機と目的

• 大規模データセットからナップサック制約のもとで高品質で小規模な要約を選択する課題に対処すること。
• 線形制約付きサブモジュラー最大化におけるグリーディアルゴリズムの理論的・実用的性能を向上させること。
• 多様な計算モデルにわたって、最小限の計算コストで既存のグリーディアルゴリズムを強化できる汎用的フレームワークを構築すること。
• スケーラビリティと実世界のデータにおける解の品質を維持しつつ、ほぼ最適な近似比を達成すること。
• 実務的文脈で1/2の近似境界を打ち破ること、一般的に0.6〜0.7のインスタンス固有の近似比を達成できること。

提案手法

• グリーディ解の各部分解に、まだ含まれていない最良のアイテムを追加する後処理ステップを適用し、効用を最大化する。
• 3つの計算モデルにこのフレームワークを適用：オフライン（Greedy+Max）、マルチパスストリーミング（Sieve+Max）、分散（Distributed+Max）。
• アルゴリズム性能を分析するために、新たな1階線形微分不等式およびそのロバストな近似バージョンを用いる。
• 既存のグリーディアルゴリズム実装を最小限の変更で再利用することで、計算コストをほとんど増加させない。
• サブモジュラー関数とナップサック制約の構造を活用し、近似比を厳密に評価する。
• モジュラーかつ拡張可能な構造としてフレームワークを設計し、任意のグリーディベースのサブルーチンと統合可能であるようにする。

実験結果

リサーチクエスチョン

• RQ1 グリーディ解に残りの最良アイテムを単純に追加するという補正が、サブモジュラーナップサック問題における近似比を顕著に改善できるか？
• RQ2 最小限のオーバーヘッドで、多様な計算モデルにおいて(1/2−ϵ)近似保証を達成できる範囲はどの程度か？
• RQ3 理論的最悪ケース境界の向上がなくても、実務的性能の1/2近似境界を打ち破れるか？
• RQ4 新たな微分不等式技術が、グリーディベースアルゴリズムの性能分析をよりタイトかつロバストに可能にする仕組みは何か？
• RQ5 実世界のデータセットにおいて、従来手法と比較して本フレームワークの実証的性能はどのようになるか？

主な発見

• 提案フレームワークは、オフライン、ストリーミング、分散環境の3つすべての設定で、計算コストをほとんど増加させずに(1/2−ϵ)-近似を達成した。
• 映画推薦およびインフルエンス最大化のデータセットを用いた実験では、インスタンス固有の近似比が0.6〜0.7の範囲にあり、(1−1/e)≈0.63の理論的最悪ケース境界をしばしば上回った。
• アルゴリズムの再設計を必要とせず、標準的なグリーディアルゴリズムを強化できるため、既存システムへの即時導入が可能である。
• 1階線形微分不等式およびそのロバストな近似を用いることで、よりタイトで一般的な性能分析が可能になった。
• ストリーミングおよび分散環境を含む、すべてのテスト済み計算モデルにおいて、高いスケーラビリティと解の品質を維持した。
• 最良のアイテムを単純に後処理で追加するという手法が、理論的最悪ケース境界をはるかに超える実用的利得をもたらすことが示された。