[論文レビュー] Streaming Algorithms for News and Scientific Literature Recommendation: Submodular Maximization with a d-Knapsack Constraint

Qilian Yu, Li Xu+1 more|arXiv (Cornell University)|Mar 17, 2016

Complexity and Algorithms in Graphs参考文献 19被引用数 5

ひとこと要約

本稿では、d-ナップサック制約下での単調なサブモジュラ関数の最大化のためのストリーミングアルゴリズムを提案する。1回のパスとサブリニアメモリで、(1/(1+2d) - ε)-近似を達成する。この手法により、多様性、新鮮さ、引用関連性をバランスさせた、効率的なニュースおよび科学文献の推薦が可能となり、グリーディ法やPageRankベースの手法を凌駆する速度とスケーラビリティを実現しながら、ほぼ最適な効用を維持する。

ABSTRACT

Submodular maximization problems belong to the family of combinatorial optimization problems and enjoy wide applications. In this paper, we focus on the problem of maximizing a monotone submodular function subject to a $d$-knapsack constraint, for which we propose a streaming algorithm that achieves a $\left(\frac{1}{1+2d}-ε ight)$-approximation of the optimal value, while it only needs one single pass through the dataset without storing all the data in the memory. In our experiments, we extensively evaluate the effectiveness of our proposed algorithm via two applications: news recommendation and scientific literature recommendation. It is observed that the proposed streaming algorithm achieves both execution speedup and memory saving by several orders of magnitude, compared with existing approaches.

研究の動機と目的

• 大規模データ処理の課題に取り組むこと。これは、メモリおよび計算制限のため、全データセットへのアクセスが不可能なビッグデータ時代に起因する。
• 一般化されたd-ナップサック制約下で、単調なサブモジュラ関数を最大化するストリーミングアルゴリズムを開発すること。これは、基数制約および複数リソース制約を一般化する。
• 全データセットの保存や複数パスを必要とせず、単調なサブモジュラ性の仮定のみで、定数倍近似の保証を達成すること。
• ニュースおよび科学文献のリアルタイム推薦システムへの実用的導入を可能とすること。ここでは、多様性、新鮮さ、引用の質が極めて重要である。
• 古典的なグリーディアルゴリズムと比較して、実行時間とメモリ使用量を大幅に削減しながら、高い効用を維持すること。

提案手法

• アルゴリズムは1回のパスでデータを処理し、マージナルゲインに基づくしきい値機構を用いて、動的に更新される小さな解集合を維持する。
• 最適解の値を推定するために確率的サンプリング戦略を採用し、現在の解と予算制約に基づいて、要素の含めるためのしきい値を動的に調整する。
• d次元のナップサック制約行列Cと予算ベクトルbを用いて、新鮮さ、バイアス付きPageRankスコア、参照数といった複数のリソース制限をモデル化する。
• 各入力要素に対して、そのマージナルゲインを計算し、すべてのd個のナップサック制約に対して実行可能かどうかを確認した上で、含めるか否かを決定する。
• アルゴリズムは、ストリーミング環境下でも最適解と十分に競合する解を維持することで、(1/(1+2d) - ε)-近似を保証する。
• 任意の部分集合Sに対してサブモジュラ関数f(S)を評価するブラックボックスオракルを用いることで、多様な推薦タスクへの適用を可能にする。

実験結果

リサーチクエスチョン

• RQ1 1回のパスと限られたメモリのみで、d-ナップサック制約下での単調サブモジュラ最大化問題に対して、定数倍近似を達成できるストリーミングアルゴリズムは存在するか？
• RQ2 実世界の推薦応用において、提案手法は古典的なグリーディアルゴリズムと比較して、効用と効率の点でどのように異なるか？
• RQ3 科学文献推薦において、新鮮さ、引用の重要性、ネットワーク中枢性といった対立する目的を、どの程度バランスさせることができるか？
• RQ4 ストリーミング環境下で、近似比、メモリ使用量、計算コストの間にはどのようなトレードオフが存在するか？
• RQ5 ニュースフィードや科学文献リポジトリのような大規模データセットに対しても、推薦品質を損なわずスケーリング可能か？

主な発見

• 提案されたストリーミングアルゴリズムは、最小限の仮定のもとで、最適解の(1/(1+2d) - ε)-近似を達成し、理論的保証を提供する。
• 古典的なグリーディアルゴリズムと比較して、実行時間を10,000倍以上短縮しながら、同等の効用性能を維持する。
• メモリ使用量はO((b log b)/(dε))であり、データセットサイズに依存しないため、大規模ストリーミングアプリケーションに適している。
• 科学文献推薦において、ソース論文の接続性が低い状況では、バイアス付きPageRank法を10%以上上回る目的関数値を達成する。
• ナップサック予算設定が変化しても、理論的上限値から約10%の相対差異を示す近似的に最適な性能を維持する。
• 新鮮さ、バイアス付きPageRank、参照数といった複数の制約を効果的にバランスさせ、多様な推薦シナリオにおいても高いロバスト性を示す。