[論文レビュー] Leveraging Sparsity for Efficient Submodular Data Summarization

Erik Lindgren, Shanshan Wu+1 more|arXiv (Cornell University)|Mar 8, 2017

Data Management and Algorithms被引用数 11

ひとこと要約

本稿では、施設配置問題を用いて、スパarsityに基づく手法によりサブモジュラデータ要約を高速化する手法を提案する。スパース化された利益行列におけるグリーディ最適化が、制限的な分布仮定を課さずにほぼ最適な性能を達成することを示している。t-近傍およびしきい値ベースのスパース化について、理論的保証がきつくなることを確立し、LSHおよびモンテカルロ法を用いた効率的でスケーラブルな要約が、精度の損失を最小限に抑えて可能となる。

ABSTRACT

The facility location problem is widely used for summarizing large datasets and has additional applications in sensor placement, image retrieval, and clustering. One difficulty of this problem is that submodular optimization algorithms require the calculation of pairwise benefits for all items in the dataset. This is infeasible for large problems, so recent work proposed to only calculate nearest neighbor benefits. One limitation is that several strong assumptions were invoked to obtain provable approximation guarantees. In this paper we establish that these extra assumptions are not necessary---solving the sparsified problem will be almost optimal under the standard assumptions of the problem. We then analyze a different method of sparsification that is a better model for methods such as Locality Sensitive Hashing to accelerate the nearest neighbor computations and extend the use of the problem to a broader family of similarities. We validate our approach by demonstrating that it rapidly generates interpretable summaries.

研究の動機と目的

• 大規模データセットにおけるサブモジュラ最適化の計算非可能性を解消するため、O(n²m)のペアワイズ利益計算を回避すること。
• 従来のスパース化サブモジュラ最適化における制限的な分布仮定（特にi.i.d.一様ランダム選好）を排除すること。
• 標準的な非負性仮定の下で、すべてのkに対してスパース化された施設配置問題に対する証明可能な近似保証を確立すること。
• LSHのような近似近傍探索技術と互換性を持つしきい値ベースのスパース化手法を提案すること。
• 実世界のデータセットを用いた実験的評価を通じて、高速で解釈可能かつ多様な要約が得られることを示すこと。

提案手法

• t-近傍スパース化の提案：利益行列Cの各行に対して、t個の最大値のみを保持し、他の要素を0に設定する。
• しきい値ベーススパース化の導入：所定のしきい値τに対して、C_iv > τ を満たす要素を保持する。これにより、近似近傍計算が効率的に行える。
• 局所性に敏感なハッシュ（LSH）およびモンテカルロサンプリングを用いて、高次元類似度空間における近似近傍照会を高速化する。
• スパース化された利益行列に対して標準的なグリーディアルゴリズムを適用し、合計カバレッジを最大化するk個の代表アイテムを選択する。
• 両スパース化手法の近似誤差に関する理論的境界を導出。標準的なサブモジュラ仮定の下で、i.i.d.または大規模kの要件を課さずに保証が成立することを示す。
• 協力ネットワークにおける影響スコアの計算に、パーソナライズドPageRankおよびランダムウォークを用い、スケーラブルなキャスト/俳優要約を実現する。

実験結果

リサーチクエスチョン

• RQ1 i.i.d.または一様ランダム選好を仮定しないで、スパース化された施設配置問題に対して証明可能な近似保証を確立できるか？
• RQ2 すべてのkに対して定数倍近似を維持するために必要な最小スパarsityレベル（例：tまたはτ）は何か？
• RQ3 しきい値ベーススパース化とt-NNスパース化は、理論的保証および実験的性能においてどのように比較されるか？
• RQ4 LSHのような近似近傍探索手法をスパース化パイプラインに効果的に統合できるか？
• RQ5 スパース化グリーディアルゴリズムは、実世界の要約タスクにおいて、多様性と解釈可能性をどの程度維持できるか？

主な発見

• 本稿では、k = Ω(n)の下で、t = O(1)のt-近傍スパース化が、分布仮定を課さずに定数倍近似に十分であることを証明している。
• 理論的分析により、t-NNスパース化の近似保証が対数要因を除いてタイトであることが示され、境界の最適性が確認された。
• しきい値ベーススパース化は、下界と定数要因内で一致する最悪ケース近似保証を達成しており、追加でデータ依存の改善が得られる。
• MovieLensデータセットにおける実験結果から、アルゴリズムは解釈可能な要約を生成している（例：90年代コメディ、80年代ホラー、カルトクラシックのクラスタ）。これらの要約は、レーティングベースの類似度に基づいて生成されている。
• 57,000ノードの大きな俳優協力ネットワークにおいて、スパース化手法は2GBのRAMで3時間で要約を計算可能であるのに対し、正確なPPR計算は非現実的である。
• 標準的なPageRankよりも、グローバルな多様性をよりよく捉えており、支配的でない国際的映画産業からも俳優を効果的に選出している。