[論文レビュー] Improved Algorithm on Online Clustering of Bandits

Shuai Li, Wei Chen+2 more|arXiv (Cornell University)|Feb 25, 2019

Advanced Bandit Algorithms Research参考文献 28被引用数 6

ひとこと要約

本稿では、非一様なユーザー頻度分布下でのユーザークラスタの適応的同定を可能にする、動的集合ベースのクラスタ表現と分割・統合操作を用いた新しいオンラインクラスタリングバンディットアルゴリズムSCLUBを提案する。最小ユーザー頻度 $p_{\text{min}}$ に依存しないことで、$1/p_{\text{min}}$ を含まないレグレットバウンドを達成し、合成データおよび実世界のデータセット（MovieLens、Yelp）における実験で、CLUBなどの既存手法を5.94%から16.24%まで一貫して上回る性能を示した。

ABSTRACT

We generalize the setting of online clustering of bandits by allowing non-uniform distribution over user frequencies. A more efficient algorithm is proposed with simple set structures to represent clusters. We prove a regret bound for the new algorithm which is free of the minimal frequency over users. The experiments on both synthetic and real datasets consistently show the advantage of the new algorithm over existing methods.

研究の動機と目的

• 既存のオンラインクラスタリングバンディットアルゴリズムが一様なユーザー頻度分布を仮定しているという限界に対処すること。これは、長尾型のユーザー活動を示す実世界のシステムでは性能が低下する。
• グラフベースのクラスタ表現における非効率性を克服すること。ここでは、類似しないユーザーが接続されてもクラスタが維持されるため、収束が遅くなる。
• 動的分割・統合操作を伴う集合ベースのクラスタ表現を用いて、より適応的で効率的なクラスタリング機構を設計すること。
• 最小ユーザー頻度 $p_{\text{min}}$ に依存しない理論的レグレットバウンドを導出すること。これは先行研究における主要な制限要因である。
• 非一様な頻度設定下で、合成データおよび実世界のデータセット（MovieLens、Yelp）において、アルゴリズムの優位性を実証的に検証すること。

提案手法

• 各クラスタをユーザーの単純な集合として表現することで、複雑なグラフ構造の代わりに直接的な集合所属関係を用いることで、効率性と明確性を向上させる。
• ユーザーがクラスタのメンバーと類似しないと判明した場合に、そのユーザーを現在のクラスタから分離する分割操作を導入。これにより、誤ったグループ化の迅速な検出が可能になる。
• 分割操作による過剰な分割を是正するため、統合操作を追加。これによりクラスタの安定性と一貫性が保たれる。
• 信頼区間に基づく選択戦略を用いて、探索と活用のバランスを保ちながらクラスタの整合性を維持する。
• 理論的解析により、$1/p_{\text{min}}$ 項を含まないレグレットバウンドが得られ、これは先行アルゴリズムに対して顕著な改善である。
• ユーザー特徴ベクトルは、レーティング行列に対するSVDを用いて導出され、線形バンディットフレームワーク内でユーザー固有の重みベクトルが学習される。

実験結果

リサーチクエスチョン

• RQ1 長尾型のユーザー活動を示す状況下でも、非一様なユーザー頻度分布に強いオンラインクラスタリングバンディットアルゴリズムは構築可能か？
• RQ2 グラフベースのクラスタ表現を動的集合構造に置き換えることで、ユーザークラスタの同定における収束速度と正確性が向上するか？
• RQ3 分割と統合の組み合わせが、既存のグラフベース手法と比較して、より優れたレグレット性能をもたらすか？
• RQ4 最小ユーザー頻度 $p_{\text{min}}$ に依存しないレグレットバウンドを導出することは可能か？
• RQ5 スパースで歪んだユーザー活動を示す実世界の推薦システムにおいて、アルゴリズムはどの程度の性能を発揮するか？

主な発見

• 一様なユーザー頻度分布下でも、ベースラインのCLUBアルゴリズムを5.94%改善し、理想化された環境下でも効率性の向上を示した。
• 非一様なクラスタレベルの頻度分布下では、13.02%のレグレット改善を達成し、頻度の不均衡に強いことを示した。
• 最も現実的とされる任意のユーザーレベル頻度分布下では、CLUBと比較して14.69%のレグレット低減を達成し、高い適応性を示した。
• MovieLensデータセットでは、任意の頻度分布下でCLUBを14.84%上回り、強力な実世界性能を確認した。
• よりスパースなYelpデータセットでは、CLUBを16.24%上回り、低データ環境下でも有効性を示した。
• アルゴリズムのレグレットバウンドが $p_{\text{min}}$ に依存しないことが理論的に証明され、先行手法の主要な理論的限界が解消された。