[論文レビュー] Learning to Predict Combinatorial Structures

Shankar Vembu|arXiv (Cornell University)|Dec 22, 2009

Algorithms and Data Compression参考文献 111被引用数 5

ひとこと要約

本論文は、順列、サイクル、部分順序集合などの組合せ構造に対するスケーラブルな判別的学習を可能にするために、効率的カウントと効率的サンプリングの2つの新しい計算的仮定を導入する。これらの仮定を活用することで、著者たちはリッジ回帰の一般化を達成し、新しい確率的構造的予測モデルを構築し、出力空間が指数関数的に大きくなる場合でさえ、効率的な推論と学習を実現する。

ABSTRACT

The major challenge in designing a discriminative learning algorithm for predicting structured data is to address the computational issues arising from the exponential size of the output space. Existing algorithms make different assumptions to ensure efficient, polynomial time estimation of model parameters. For several combinatorial structures, including cycles, partially ordered sets, permutations and other graph classes, these assumptions do not hold. In this thesis, we address the problem of designing learning algorithms for predicting combinatorial structures by introducing two new assumptions: (i) The first assumption is that a particular counting problem can be solved efficiently. The consequence is a generalisation of the classical ridge regression for structured prediction. (ii) The second assumption is that a particular sampling problem can be solved efficiently. The consequence is a new technique for designing and analysing probabilistic structured prediction models. These results can be applied to solve several complex learning problems including but not limited to multi-label classification, multi-category hierarchical classification, and label ranking.

研究の動機と目的

• 出力空間のサイズが入力サイズとともに指数関数的に増加する場合の構造的予測の計算的非効率性に対処する。
• 複雑な組合せ構造に不適切な制限的な仮定に依存する既存のアルゴリズムの限界を克服する。
• 順列、サイクル、部分順序集合の構造的予測タスクにおいて、効率的なパrameter推定と推論を可能にする。
• 新しい計算的仮定を用いて、リッジ回帰と確率的モデリングを統合するフレームワークを構築する。
• 多ラベル、階層的、ラベルランク付け問題におけるスケーラブルな学習の理論的および実験的基盤を提供する。

提案手法

• 有効な組合せ構造の数が効率的に計算可能であるという「カウント仮定」を導入し、構造的出力へのリッジ回帰の一般化を可能にする。
• 有効な構造からの一様サンプリングが可能であるという「サンプリング仮定」を導入し、確率的構造的予測モデルの設計を支援する。
• カウント仮定を用いて、近似列挙とオンライン学習を介した効率的最適化が可能な構造的リッジ回帰の定式化を導出する。
• サンプリング仮定を用いて、指数型分布族モデルにおける正規化定数とその対数正規化定数の勾配の近似を実現し、扱いやすい推論を可能にする。
• ハイパーキューブ上での近似推論を目的とした、MCMCサンプラー MC_cube を設計し、パスカップリングを用いた理論的混合時間の上限を導出する。
• 冷却スケジュールとテレスコピック積を統合して中間計算を再利用し、大規模な設定における勾配近似の効率を向上させる。

実験結果

リサーチクエスチョン

• RQ1 標準的仮定が成り立たない場合でも、順列やサイクルなどの組合せ的出力に対する構造的予測をスケーラブルに可能にすることができるか？
• RQ2 有効な構造の効率的カウントが、構造的出力への一般化リッジ回帰をどの程度可能にするか？
• RQ3 組合せ構造からの効率的サンプリングが、確率的構造的予測モデルの学習と推論をどの程度改善できるか？
• RQ4 ハイパーキューブ上の一様サンプラーの混合時間は何か？ そしてそれはMCMCベースの推論の収束にどのように影響するか？
• RQ5 近似推論技術（例：近似デコードや列挙）は、計算コストを削減しながらも、予測精度を維持できるか？

主な発見

• カウント仮定により、構造的予測へのリッジ回帰の一般化が可能となり、出力空間が指数関数的に大きくなっても効率的なパrameter推定が実現できる。
• サンプリング仮定により、一様サンプリングを用いた正規化定数とその勾配の近似が可能となり、新たな確率的モデルの開発が可能になった。
• d次元ハイパーキューブ上でのMC_cubeのMCMCの混合時間は、$ O(d \ln(d\epsilon^{-1})) $ で有界であり、近似推論における効率的収束を保証する。
• サンプリングおよび列挙による近似推論は、強い予測性能を維持しており、ラベルランク付けや多クラス分類といった複雑なタスクにおいてスケーラビリティが実証された。
• 冷却スケジュールとテレスコピック積を用いることで、中間計算の再利用が可能となり、大規模な構造的予測における勾配近似の効率が顕著に向上した。
• パスカップリングによる理論的分析により、提案されたMCMCサンプラーが高速に混合することを確認し、実用的な確率的モデリングへの適用を正当化した。