[論文レビュー] Submodularity on Hypergraphs: From Sets to Sequences

Marko Mitrovic, Moran Feldman+2 more|arXiv (Cornell University)|Feb 26, 2018

Complexity and Algorithms in Graphs参考文献 18被引用数 6

ひとこと要約

本稿では、一般の有向グラフおよびハイパーグラフ上での部分集合最適化をシーケンスへと拡張する2つの新規アルゴリズム—Sequence-GreedyおよびHyper Sequence-Greedy—を提案する。これらは、元のグラフにサイクルが存在する場合でさえ定数倍近似保証を達成する。主な貢献は、サイクルを含む一般のグラフにまで拡張可能な、部分集合最適化の理論的枠組みを初めて確立したことである。実世界のタスク、例えば映画推薦やMOOCのコース順序付けにおいて実証されている。

ABSTRACT

In a nutshell, submodular functions encode an intuitive notion of diminishing returns. As a result, submodularity appears in many important machine learning tasks such as feature selection and data summarization. Although there has been a large volume of work devoted to the study of submodular functions in recent years, the vast majority of this work has been focused on algorithms that output sets, not sequences. However, in many settings, the order in which we output items can be just as important as the items themselves. To extend the notion of submodularity to sequences, we use a directed graph on the items where the edges encode the additional value of selecting items in a particular order. Existing theory is limited to the case where this underlying graph is a directed acyclic graph. In this paper, we introduce two new algorithms that provably give constant factor approximations for general graphs and hypergraphs having bounded in or out degrees. Furthermore, we show the utility of our new algorithms for real-world applications in movie recommendation, online link prediction, and the design of course sequences for MOOCs.

研究の動機と目的

• 集合からシーケンスへの部分集合最適化の拡張により、順序が効用に顕著な影響を及ぼす状況におけるギャップを埋める。
• 先行研究が有向無閉路グラフ（DAG）に限定されていたという制限を克服し、サイクルを含む一般のグラフへの応用を可能にする。
• 有向グラフおよびハイパーグラフによるエッジ誘導型効用を用いて、シーケンス上での部分集合関数の理論的枠組みを構築する。
• 一般のグラフおよびハイパーグラフにおいて、入出次数が有界である場合に定数倍近似を達成する実用的アルゴリズムを設計する。
• 提案手法の実世界での有効性を、映画推薦、オンラインリンク予測、MOOCのコース順序設計などの応用において示す。

提案手法

• シーケンス選択問題を、特定の順序でのアイテム選択に伴う追加的価値をエンコードするエッジを持つ有向グラフ $G = (V, E)$ でモデル化する。
• 目的関数を $f(\sigma) = h(E(\sigma))$ と定義する。ここで $h$ はエッジ上での非負かつ単調な部分集合関数であり、$E(\sigma)$ はシーケンス $\sigma$ によって誘導されるエッジ集合である。
• Sequence-Greedyを提案：反復的に、個々の寄与とエッジベースの寄与を考慮した上で、$h$ における限界利得を最大化する次なる頂点を選択する貪欲アルゴリズム。
• Hyper Sequence-Greedyを導入：ハイパーエッジを用いて高階の依存関係をモデル化し、最大 $k$ 個のアイテムのシーケンスからの効用を捉える。
• 各ハイパーエッジ $e_s$ を長さが $k$ 以下のシーケンス $s$ に対応させ、重み $p_s$ をユーザーの関心確率として定義する。
• 希少なシーケンスに過剰適合するのを避けるために、スムージングパラメータ $d$ を適用する。

実験結果

リサーチクエスチョン

• RQ1 一般の有向グラフ（サイクルを含む）において、部分集合最適化を集合からシーケンスへと拡張することは可能か？
• RQ2 元のグラフがDAGでない場合、部分集合シーケンス最適化においてどのような理論的近似保証が達成可能か？
• RQ3 ハイパーグラフを用いることで、2項順序を超えた高階の依存関係をシーケンス選択にどのようにモデル化できるか？
• RQ4 提案されたアルゴリズムは、映画推薦やコース順序付けといった実世界の応用で、既存のベースラインを上回る性能を示すか？
• RQ5 シーケンスの順序をモデル化することで、実用的な推薦および教育的順序付けタスクにおける効用はどの程度向上するか？

主な発見

• Sequence-GreedyおよびHyper Sequence-Greedyは、入出次数が有界な一般のグラフおよびハイパーグラフにおいて、最適解に対する定数倍近似を達成する。
• コース順序推薦において、Hyper Sequence-GreedyはOMegAおよびSequence-Greedyを上回り、性能上位パーセンタイルのシーケンスを生成する。
• MOOCデータセットにおいて、Hyper Sequence-Greedyが選択したシーケンスは高いユーザー参加度を達成しており、推薦に従ったユーザーは顕著なコース修了率を示している。
• 小さな $k=4$ においても、アルゴリズムは頑健である。OMegAがSequence-Greedyを上回る可能性があるのは、シーケンス長が小さく、OMegAのランダムなトポロジカル順序付けによる要因が関係していると考えられる。
• ハイパーエッジの使用は、複雑な依存関係のモデリングを著しく改善しており、2項エッジモデルと比較して実世界データセットでの性能向上が裏付けられている。
• 実験的結果から、選択されたシーケンスはユーザーの関心を強く喚起することが判明しており、特に映画のシリーズやコースのシリーズといった一貫したテーマ的進行を捉えた場合に顕著である。