[論文レビュー] Exp-Concavity of Proper Composite Losses

Parameswaran Kamalaruban, Robert C. Williamson+1 more|arXiv (Cornell University)|May 20, 2018

Advanced Bandit Algorithms Research参考文献 19被引用数 6

ひとこと要約

本稿は、適切な複合損失における指数的凸性の完全な特徴付けを提供し、任意のβ-混合可能な二値的適切損失が適切なリンク関数を用いてβ-指数的凸性を持つ複合損失に変換可能であることを示している。主な貢献は、幾何学的かつ微積分的アプローチにより、このようなリンク関数を構築する方法であり、重み付き平均アルゴリズムを用いたオンライン学習におけるO(1)のリグレットバウンドを可能にする。さらに、近似を用いた多クラス設定への拡張も行われている。

ABSTRACT

The goal of online prediction with expert advice is to find a decision strategy which will perform almost as well as the best expert in a given pool of experts, on any sequence of outcomes. This problem has been widely studied and $O(\sqrt{T})$ and $O(\log{T})$ regret bounds can be achieved for convex losses (\cite{zinkevich2003online}) and strictly convex losses with bounded first and second derivatives (\cite{hazan2007logarithmic}) respectively. In special cases like the Aggregating Algorithm (\cite{vovk1995game}) with mixable losses and the Weighted Average Algorithm (\cite{kivinen1999averaging}) with exp-concave losses, it is possible to achieve $O(1)$ regret bounds. \cite{van2012exp} has argued that mixability and exp-concavity are roughly equivalent under certain conditions. Thus by understanding the underlying relationship between these two notions we can gain the best of both algorithms (strong theoretical performance guarantees of the Aggregating Algorithm and the computational efficiency of the Weighted Average Algorithm). In this paper we provide a complete characterization of the exp-concavity of any proper composite loss. Using this characterization and the mixability condition of proper losses (\cite{van2012mixability}), we show that it is possible to transform (re-parameterize) any $β$-mixable binary proper loss into a $β$-exp-concave composite loss with the same $β$. In the multi-class case, we propose an approximation approach for this transformation.

研究の動機と目的

• 二値および多クラス設定における適切な複合損失の指数的凸性の完全な特徴付けを確立すること。
• β-混合可能な適切損失が再パラメータライズationによってβ-指数的凸性を持つ複合損失に変換可能であることを示し、混合可能性と指数的凸性のギャップを埋めること。
• 指数的凸性を保ちつつ適切性を維持するリンク関数を構築するための幾何学的および微積分的アプローチを開発すること。
• パラメータεを用いた幾何学的近似法を用いて、多クラス損失への結果の一般化を図ること。
• 提案されたリンク関数を用いた変換後、重み付き平均アルゴリズムが、指数的凸性を満たさないがβ-混合可能な損失に対してもO(1)のリグレットを達成できることを示すこと。

提案手法

• van Erven (2012) のアイデアにインspiredされた幾何的構成を用いて、β-混合可能な二値的適切損失をβ-指数的凸性を持つ複合損失に変換するリンク関数を導出する。
• 対数損失と目的損失の重み関数の比を用いた微積分的手法により、代替的なリンク関数を導出する。
• ベイズリスクとリンク関数の観点から、多クラスの適切な複合損失の指数的凸性の条件を確立する。
• 提案された幾何的近似法（命題2）により、予測空間Δⁿの部分集合Sε上で混合可能な損失を変換し、十分に小さいεに対して指数的凸性を保証する。
• 具体的な損失（例：二乗損失、ブースティング損失、対数損失）に変換を適用し、指数的凸性の検証とβパラメータの計算を行う。
• Van Ervenら（2012）の混合可能性条件を用いて、元の損失の混合可能性と変換後の複合損失との関係を関係づける。

実験結果

リサーチクエスチョン

• RQ1 任意のβ-混合可能な二値的適切損失は、適切なリンク関数を用いてβ-指数的凸性を持つ複合損失に変換可能か？
• RQ2 二値的適切複合損失に対してβ-指数的凸性を達成するリンク関数の明示的形は何か？
• RQ3 閉形式解が常に可能でない多クラスの適切複合損失へ、変換を一般化する方法は何か？
• RQ4 混合可能性定数βと変換後の指数的凸性パラメータとの関係は何か？
• RQ5 提案されたリンク関数を用いた変換後、重み付き平均アルゴリズムは、指数的凸性を満たさないがβ-混合可能な損失に対してもO(1)のリグレットを達成できるか？

主な発見

• 二値的適切損失に対しては、幾何的構成（命題1）と微積分的アプローチ（系8）により、β-混合可能な損失をβ-指数的凸性を持つ複合損失に変換する明示的リンク関数が得られる。
• 二乗損失に対して幾何的アプローチで得られたリンク関数は1-指数的凸性を示し、同様に微積分的アプローチで得られたリンク関数も1-指数的凸性を示す。
• 2-混合可能な二値ブースティング損失に対しては、提案されたリンク関数により2-指数的凸性を持つ複合損失が得られ、重み付き平均アルゴリズムによるO(1)のリグレットが達成可能である。
• 多クラスの場合、提案された近似法により、十分に小さいεに対して任意の予測がSεに含まれるようになり、ε-近似β-指数的凸性を持つ複合損失の構築が可能となる。
• 対数損失は1-混合可能かつ1-指数的凸性を有しており、そのリンク関数はそれぞれ恒等関数および線形関数に簡略化される。
• 本稿では、指数的凸性が混合可能性を含むことが確認され、再パラメータライズーションの下で、混合可能性が指数的凸性に変換可能であることが示され、アグリゲーティング・アルゴリズムと重み付き平均アルゴリズムの理論的保証を統合する。