[論文レビュー] Online Learning of Combinatorial Objects via Extended Formulation

Holakou Rahmanian, David P. Helmbold+1 more|arXiv (Cornell University)|Sep 17, 2016

Machine Learning and Algorithms参考文献 24被引用数 3

ひとこと要約

この論文は、置換やハフマン木などの組合せ的対象を効率的に学習するために拡張表現を活用する、XF-Hedgeと呼ばれる新しいオンライン学習アルゴリズムを提案する。高次元空間における多面体の多項式的数の面を用いて複雑な多面体を表現することで、XF-Hedgeは効率的なブレグマン射影を可能にし、置換に関しては最先端のアルゴリズムと比較して $\/mathcal{O}(\sqrt{\log n})$ 要因以内のレグレットバウンドを達成するとともに、ハフマン木についても異なる損失の設定において既存の境界を同等または上回る結果を得た。

ABSTRACT

The standard techniques for online learning of combinatorial objects perform multiplicative updates followed by projections into the convex hull of all the objects. However, this methodology can be expensive if the convex hull contains many facets. For example, the convex hull of $n$-symbol Huffman trees is known to have exponentially many facets (Maurras et al., 2010). We get around this difficulty by exploiting extended formulations (Kaibel, 2011), which encode the polytope of combinatorial objects in a higher dimensional "extended" space with only polynomially many facets. We develop a general framework for converting extended formulations into efficient online algorithms with good relative loss bounds. We present applications of our framework to online learning of Huffman trees and permutations. The regret bounds of the resulting algorithms are within a factor of $O(\sqrt{\log(n)})$ of the state-of-the-art specialized algorithms for permutations, and depending on the loss regimes, improve on or match the state-of-the-art for Huffman trees. Our method is general and can be applied to other combinatorial objects.

研究の動機と目的

• 組合せ的対象の凸包に含まれる指数的数の面を有する場合に、標準的なオンライン学習手法の計算上の非効率性を是正すること。特に、その凸包への射影が困難となる場合に焦点を当てる。
• 組合せ的多面体の拡張表現を、保証されたレグレット性能を有する効率的なオンライン学習アルゴリズムに変換する一般化可能なフレームワークの構築。
• 多項式的数の面を有する冗長で高次元の表現を活用することで、コンポonent Hedge風のアルゴリズムを複雑な組合せ的クラスに適用可能にする。
• 置換およびハフマン木に関して、専用アルゴリズムと同等または優れたレグレットバウンドを達成しつつ、計算効率を維持すること。
• 凸包への射影が直接には困難である組合せ的対象に対しても、オンライン学習の適用範囲を拡張すること。

提案手法

• 拡張表現を用いて、組合せ的対象の多面体を問題サイズに多項式的に依存する面数を有する高次元空間に表現する。
• 反復的ブレグマン射影を高次元空間で実行することで、すべての組合せ的対象を明示的に列挙せずに、組合せ的対象上の分布を維持する。
• 暗黙の表現のパラメータに対して乗法的更新を実行し、その後にブレグマン発散を用いた射影を実行することで、拡張表現内での妥当性を保証する。
• 元の組合せ的対象上で定義された損失関数をサポートする。これは、拡張表現に補助変数やスラック変数が導入されても成立する。
• 射影手順の早期終了によって生じる近似誤差を考慮したレグレット解析を行い、追加の損失を上限で制御する。
• コンポーネント・ヘッジを一般化し、エキスパート学習の道具（例：バンドイットフィードバックへの適応性、シフトコンパレータバウンド）を継承する。

実験結果

リサーチクエスチョン

• RQ1 指数的数の面を有する組合せ的対象の凸包への射影が困難な場合に、拡張表現を用いて効率的なオンライン学習アルゴリズムを設計できるか？
• RQ2 元の組合せ的空間ではなく、拡張された高次元空間で射影が行われる場合、オンライン学習のレグレットをどのように上限づけられるか？
• RQ3 異なる損失の設定下で、XF-Hedgeと置換およびハフマン木に関して最先端の専用アルゴリズムとの間の性能差はどの程度か？
• RQ4 拡張表現に含まれる冗長変数を活用することで、より複雑または構造的な損失関数を表現できるか？
• RQ5 どの種の組合せ的対象が、自然なオンライン損失関数と、オンライン学習に適したコンパクトな拡張表現を同時に備えているか？

主な発見

• 置換に関しては、XF-Hedgeは最先端のオンラインランクアルゴリズムと比較して $\\mathcal{O}(\sqrt{\log n})$ 要因以内のレグレットバウンドを達成した。
• ハフマン木に関しては単位立方体損失ベクトル下で、FPLおよび一般化ヘッジアルゴリズムのレグレットバウンドと同等または上回り、$\mathcal{O}(n(\log n)^{1/2}\sqrt{L^*} + n^2\log n)$ のバウンドを達成した。
• ハフマン木の単位単体損失設定下では、1試行あたりの損失が $\mathcal{O}(n)$ であるが、XF-HedgeのレグレットはFPLおよび一般化ヘッジアルゴリズムと同等であり、すべて $\mathcal{O}(n(\log n)^{1/2}\sqrt{L^*} + n^2\log n)$ のバウンドを達成した。
• 指数的数の対象に対して明示的な重み追跡を避けることで、一般化ヘッジアルゴリズムに見られるレグレット損失範囲の拡大を低減した。
• 解析により、反復的ブレグマン射影が早期終了された場合でも、追加の損失が有界に保たれることを示した。これにより、効率的な実装が可能になった。
• このフレームワークは一般性を有し、パス、$k$-集合、およびサブモジュラー構造など、適切な拡張表現を備えた他の組合せ的対象に対しても適用可能である。