[論文レビュー] Bandit Multiclass Linear Classification: Efficient Algorithms for the Separable Case

Alina Beygelzimer, Dávid Pál+4 more|arXiv (Cornell University)|Feb 6, 2019

Advanced Bandit Algorithms Research参考文献 31被引用数 3

ひとこと要約

本稿では、予測の正誤に関する二値フィードバックのみが利用可能なバンドイットフィードバック下でのオンラインマルチクラス線形分類に対して、効率的なアルゴリズムを提示する。2つの新規アルゴリズムを導入する：強い線形分離性のもとで $O(K/\gamma^2)$ の近似的に最適な誤り境界を達成するものと、弱い分離性のもとで次元に依存しない誤り境界 $\widetilde{O}(2^{\sqrt{1/\gamma}\log K})$ を達成するもので、カーネル化されたパーセプトロンと特徴マッピングを用いて、弱く分離可能なデータを高次元空間で強く分離可能な形に変換する。

ABSTRACT

We study the problem of efficient online multiclass linear classification with bandit feedback, where all examples belong to one of $K$ classes and lie in the $d$-dimensional Euclidean space. Previous works have left open the challenge of designing efficient algorithms with finite mistake bounds when the data is linearly separable by a margin $γ$. In this work, we take a first step towards this problem. We consider two notions of linear separability: strong and weak. 1. Under the strong linear separability condition, we design an efficient algorithm that achieves a near-optimal mistake bound of $O\left( K/γ^2 ight)$. 2. Under the more challenging weak linear separability condition, we design an efficient algorithm with a mistake bound of $\min (2^{\widetilde{O}(K \log^2 (1/γ))}, 2^{\widetilde{O}(\sqrt{1/γ} \log K)})$. Our algorithm is based on kernel Perceptron, which is inspired by the work of (Klivans and Servedio, 2008) on improperly learning intersection of halfspaces.

研究の動機と目的

• バンドイットフィードバック下でのオンラインマルチクラス線形分類において、有限誤り境界を有する効率的アルゴリズムを設計するという未解決問題に取り組む。
• 弱い線形分離性の課題に対処し、先行研究では有限誤り境界を有する効率的アルゴリズムが存在しなかった。
• 誤り境界における特徴次元 $d$ への明示的依存を排除し、Kakadeら（2008）が提起した未解決問題に答えを提示する。
• $K$、$d$、$1/\gamma$、$T$ に対して多項式時間で動作する計算効率の良いアルゴリズムを構築し、強力な一般化保証を維持する。

提案手法

• 各クラスごとに1つのバイナリパーセプトロンを $K$ 個走らせる新しいアルゴリズム（アルゴリズム1）を提案し、強い線形分離性を扱う。
• カーネル化されたパーセプトロンを用いて、弱い線形分離性を持つデータを、明示的な特徴マッピング $\phi$ を通じて高次元特徴空間で強く分離可能な形に変換する。
• $O(d)$ の計算時間で実行可能な正定値カーネル $k(x,x')$ を設計し、特徴空間への明示的射影なしに効率的なカーネル計算を可能にする。
• カーネル化されたアルゴリズムを活用し、変換空間におけるマージンに依存する誤り境界を達成する。このマージンは元の弱いマージン $\gamma$ から導出される。
• 遅延フィードバックを伴う敵対的設定における誤り数の期待値を抑えられるように、切断幾何分布の解析を適用する。
• 条件付き期待値の塔の性質と確率的下界を用いて、誤り複雑度の最悪ケース下界を導出する。

実験結果

リサーチクエスチョン

• RQ1 バンドイットフィードバック設定下で、強い線形分離性のもとで有限誤り境界を有する効率的アルゴリズムを設計することは可能か？
• RQ2 弱い線形分離性のもとで、入力次元 $d$ に依存しない有限誤り境界を達成することは可能か？
• RQ3 弱い分離性の場合に、近似的に最適な誤り境界を維持しつつ、計算効率の良いアルゴリズムを構築することは可能か？
• RQ4 バンドイットマルチクラス分類設定において、誤り境界と計算効率の最適なトレードオフは何か？
• RQ5 カーネル法を用いて弱く分離可能なデータを強く分離可能な形に変換し、効率的な学習を可能にする方法は何か？

主な発見

• 強い線形分離性のもとで、提案アルゴリズムは $O(K/\gamma^2)$ の誤り境界を達成し、これは近似的に最適であり、情報理論的下界と定数因子を除いて一致する。
• 弱い線形分離性のもとで、アルゴリズムは $\min(2^{\widetilde{O}(K\log^2(1/\gamma))}, 2^{\widetilde{O}(\sqrt{1/\gamma}\log K)})$ の誤り境界を達成し、次元に依存せず、先行研究を改善する。
• アルゴリズムは計算的に効率的であり、1ラウンドあたりの時間計算量とメモリ計算量が両方 $O(dK)$ で、$K$ や $d$ が大きい場合でもスケーラブルである。
• カーネルマッピングにより、弱い分離性が高次元空間で強く分離可能に変換され、効率的なパーセプトロンベースの学習が可能になる。
• 強い分離性の場合に、任意のアルゴリズムに対して $\Omega(K(R/\gamma)^2)$ の下界が証明され、誤り境界における $O(K)$ 要素がバンドイットフィードバック下で避けがたいことが示された。
• 分析により、完全情報設定と比較して誤り境界に余分な $O(K)$ 要素が存在するのは、完全ラベルフィードバックが欠如しているため必要不可避であることが確認された。