[論文レビュー] Exploiting the Surrogate Gap in Online Multiclass Classification

Dirk van der Hoeven|arXiv (Cornell University)|Jul 24, 2020

Advanced Bandit Algorithms Research参考文献 32被引用数 4

ひとこと要約

この論文は、非凸のゼロ-one損失と凸の代替損失（ロジスティック、ハーフィング、スムーズハーフィング）の差（ギャップ）を活用する、オンラインマルチクラス分類のための確率的1次元アルゴリズムであるGaptronを提案する。完全情報設定では$O(K)$のレグレットを達成し、バンディット設定では$O(K\sqrt{T})$のレグレットを達成するが、特徴量次元$d$に依存しない。これは、バンディット設定においてこのレグレットバウンドを達成する最初の線形時間アルゴリズムである。

ABSTRACT

We present Gaptron, a randomized first-order algorithm for online multiclass classification. In the full information setting we show expected mistake bounds with respect to the logistic loss, hinge loss, and the smooth hinge loss with constant regret, where the expectation is with respect to the learner's randomness. In the bandit classification setting we show that Gaptron is the first linear time algorithm with $O(K\sqrt{T})$ expected regret, where $K$ is the number of classes. Additionally, the expected mistake bound of Gaptron does not depend on the dimension of the feature vector, contrary to previous algorithms with $O(K\sqrt{T})$ regret in the bandit classification setting. We present a new proof technique that exploits the gap between the zero-one loss and surrogate losses rather than exploiting properties such as exp-concavity or mixability, which are traditionally used to prove logarithmic or constant regret bounds.

研究の動機と目的

• 完全情報設定およびバンディット設定の両方で、改善されたレグレットバウンドを達成する1次元オンラインマルチクラス分類アルゴリズムの開発。
• 従来の$O(K\sqrt{T})$バンディットアルゴリズムとは異なり、レグレットバウンドにおける特徴量次元$d$への依存を排除すること。
• 指数的コンカービティーやミキシング性ではなく、ゼロ-one損失と代替損失のギャップに基づく、新しい証明技法の導入。
• バンディットマルチクラス設定において、線形時間で$O(K\sqrt{T})$のレグレットを達成すること。これは、このようなバウンドを達成する最初の例である。

提案手法

• Gaptronは、代替損失の勾配に基づいて重み行列$\W_t$を更新するオンライン勾配降下法（OGD）を用いる。
• 学習者がクラスの確率分布からサンプリングする確率的予測戦略を導入し、探索と活用のバランスを取る。
• アルゴリズムは、性能指標としてのゼロ-one損失と最適化の目的関数としての代替損失との間のギャップを活用し、レグレットバウンドを導出する。
• 特徴量次元$d$に依存しない、完全情報ケースでは$O(K)$、バンディットケースでは$O(K\sqrt{T})$の代替損失ギャップを抑える、新しい証明技法を提案する。
• 確率ベクトルの更新にAdaHedgeを活用し、Bhatia-Davisの不等式を用いて損失ギャップにおける分散項を制御する。
• 分類における放棄（abstention）を扱えるように一般化し、コスト$c_t < 1/2$の条件下でレグレットが有界になるようにする。

実験結果

リサーチクエスチョン

• RQ1 1次元オンラインマルチクラス分類器は、特徴量次元に依存しないで、完全情報設定で$O(K)$のレグレットを達成できるか？
• RQ2 バンディットマルチクラス分類設定において、線形時間で$O(K\sqrt{T})$のレグレットを達成するアルゴリズムを設計できるか？
• RQ3 指数的コンカービティーやミキシング性に依存せず、ゼロ-one損失と代替損失のギャップを体系的に活用してレグレットバウンドを導出できるか？
• RQ4 バンディットマルチクラスのレグレットバウンドにおける特徴量次元$d$への依存をどのように排除できるか？

主な発見

• Gaptronは、ロジスティック、ハーフィング、スムーズハーフィング損失に関して、完全情報設定で$O(K)$の期待レグレットを達成する。
• バンディット設定では、特徴量次元$d$に依存しない$O(K\sqrt{T})$の期待レグレットを達成する。
• Gaptronは、バンディットマルチクラス分類設定において$O(K\sqrt{T})$のレグレットを達成する最初の線形時間アルゴリズムである。
• レグレットバウンドは、従来の性質（指数的コンカービティ）ではなく、ゼロ-one損失と代替損失のギャップを活用する新しい証明技法によって導出された。
• アルゴリズムは、適応的確率更新により、代替損失ギャップと放棄ギャップが有界であることを保証する確率的予測戦略を維持する。
• 分析により、放棄コスト$c_t < 1/2$のときでさえ、レグレットが$O(K\sqrt{T})$のまま保たれ、先行研究と比較して定数が改善されていることが示された。