[論文レビュー] On Multilabel Classification and Ranking with Partial Feedback

Claudio Gentile, Francesco Orabona|arXiv (Cornell University)|Jun 30, 2012

Machine Learning and Algorithms参考文献 28被引用数 6

ひとこと要約

本稿では、2次降下法と上界信頼区間を用いて探索と活用のバランスを図ることで、部分的フィードバック設定における新しいマルチラベルおよびランク付けアルゴリズムを提案する。一般化線形モデル下で $O(T^{1/2}/\log T)$ のレグレットバウンドを達成し、先行研究を改善し、実世界のデータセットにおいて完全情報ベースラインと同等の性能を示す。

ABSTRACT

We present a novel multilabel/ranking algorithm working in partial information settings. The algorithm is based on 2nd-order descent methods, and relies on upper-confidence bounds to trade-off exploration and exploitation. We analyze this algorithm in a partial adversarial setting, where covariates can be adversarial, but multilabel probabilities are ruled by (generalized) linear models. We show O(T^{1/2} log T) regret bounds, which improve in several ways on the existing results. We test the effectiveness of our upper-confidence scheme by contrasting against full-information baselines on real-world multilabel datasets, often obtaining comparable performance.

研究の動機と目的

• 部分的フィードバック下でのマルチラベル分類およびランク付けを扱う。ここでは、ユーザーのフィードバックが限定的である。
• 共変量を伴う半悪意的設定において、探索と活用を効果的にバランスさせる学習アルゴリズムを開発する。
• 一般化線形モデルの文脈において、既存手法よりもタイトなレグレットバウンドを達成する。
• 補正されたスコア値を用いて、関連するラベルと非関連ラベルの間の自動しきい値設定を可能にする。
• 今後の研究において、階層的分類などの構造的出力タスクにこのフレームワークを拡張する。

提案手法

• アルゴリズムは、逆共分散行列に基づく適応的正則化を用いた2次降下法を用いる。
• 探索を導くために上界信頼区間を組み込み、信頼区間は累積特徴行列の逆行列から導出される。
• レグレット成長の有界性を保証するため、$\boldsymbol{x}_t^\top A_{i,t}^{-1} \boldsymbol{x}_t$ を含む項を用いて信頼区間を補正する。
• マルチラベル損失とラベル生成モデルを分離することで、柔軟な損失関数を可能にする。
• 不確実性推定に基づき、動的に探索を調整する。信頼区間の上限を設けることで、過大評価を防ぐ。
• アルゴリズムはラウンドを繰り返し、文脈 $\boldsymbol{x}_t$ を受信し、順位付きサブセット $\hat{Y}_t$ を出力し、$Y_t \cap \hat{Y}_t$ のみを観測する。

実験結果

リサーチクエスチョン

• RQ1 2次降下法を用いて、部分的フィードバック下でマルチラベルおよびランク付け問題においてサブ線形レグレットを達成できるか？
• RQ2 部分的フィードバック下で、構造的でマルチラベルな行動空間に上界信頼区間を効果的に適応できるか？
• RQ3 共変量が悪意的だがラベル確率が一般化線形モデルに従う半悪意的設定下で、どのようなレグレットバウンドが証明できるか？
• RQ4 明示的な教師信号なしで、アルゴリズムが関連／非関連ラベルのしきい値を自動的に推定できるか？
• RQ5 実世界のマルチラベルデータセットにおいて、性能が完全情報ベースラインと比較してどうなるか？

主な発見

• 一般化線形モデルの仮定下で、$O(T^{1/2}\log T)$ のレグレットバウンドを達成し、先行研究の $T^{2/3}$ 型バウンドを改善する。
• レグレットバウンドは、共変量が悪意的だがラベル確率が一般化線形モデルに従う半悪意的設定下で導出される。
• 完全情報ベースラインに匹敵する性能を、実世界のマルチラベルデータセットで部分的フィードバックのみを受けるにもかかわらず達成する。
• 信頼区間の構築により、推定誤差の成長が有界になる。$\sum_{t=1}^T \epsilon_{i,t}^2 \leq M$（$i \in [K]$ すべての $i$ に対して）が成り立ち、$M = 2C d \ln(1 + T/d)$ である。
• 補正されたスコア $\hat{p}_{i,t}$ を用いたラベルしきい値の推定能力により、関連ラベルと非関連ラベルの自動的分離が可能になる。
• 理論的解析により、レグレットが $O(\sqrt{M S K T})$ で有界であることが示され、標準的仮定下では $O(T^{1/2}\log T)$ に簡略化される。