[論文レビュー] Online Boosting Algorithms for Multi-label Ranking

Young Hun Jung, Ambuj Tewari|arXiv (Cornell University)|Oct 23, 2017

Text and Document Classification Technologies被引用数 5

ひとこと要約

本稿では、多ラベルランク付け（OnlineBMRおよびAda.OLMR）のための2つのオンラインブースティングアルゴリズムを提案する。これらは、二値、単一ラベル、または多ラベルの弱学習器を統合し、強いランク付けモデルを構築する。理論的損失バウンドを確立し、OnlineBMRは既知のエッジ仮定下で最適であり、Ada.OLMRは適応的重み付けにより実用的優位性を示し、バッチベースラインを上回るランク損失を達成しながら効率的にスケーリングする。

ABSTRACT

We consider the multi-label ranking approach to multi-label learning. Boosting is a natural method for multi-label ranking as it aggregates weak predictions through majority votes, which can be directly used as scores to produce a ranking of the labels. We design online boosting algorithms with provable loss bounds for multi-label ranking. We show that our first algorithm is optimal in terms of the number of learners required to attain a desired accuracy, but it requires knowledge of the edge of the weak learners. We also design an adaptive algorithm that does not require this knowledge and is hence more practical. Experimental results on real data sets demonstrate that our algorithms are at least as good as existing batch boosting algorithms.

研究の動機と目的

• 多ラベルランク付け（MLR）に特化したオンラインブースティングアルゴリズムの開発。MLRでは複数のラベルが関連する可能性があり、予測はランク付けのスコアとして出力される。
• オンラインブースティング理論を、単一ラベルおよび二値設定にとどまらず、一般の弱学習予測を扱う多ラベルシナリオに拡張すること。
• 既知のエッジ仮定下で最適なアルゴリズム（OnlineBMR）を設計し、エッジが未知または任意の状況でも対応可能な適応的代替手法（Ada.OLMR）を提供すること。
• 実世界の多ラベルデータセットを用いて、バッチブースティングベースラインと比較し、主にランク損失を指標として性能を評価すること。

提案手法

• 一般化された弱学習予測フォーマットを採用：各弱学習器はラベル上での確率分布を出力でき、二値、単一ラベル、多ラベル予測を統合可能である。
• ブースターと弱学習器間の通信にコスト行列フレームワークを採用し、動的損失指定とパrameter更新を可能にする。
• 既知のエッジ値に基づく固定重みを用いるOnlineBMRを設計し、正のエッジ仮定下でタイトな理論的損失バウンドを達成する。
• 弱学習器のパフォーマンスに応じて動的に重みを調整する適応的重み付けを採用したAda.OLMRを開発し、一部の学習器が負のエッジまたは未知のエッジを持つ場合でもブースティングが可能になる。
• 弱学習器の確率的出力（例：VFDT）をスコアベクトルに変換するため、ハンジング損失を適用する。
• 弱学習器間の相関を低減し一般化性能を向上させるために、ランダムな特徴量サブサンプリング（1つの木あたり20特徴量）を適用する。

実験結果

リサーチクエスチョン

• RQ1 一般化された弱学習予測フォーマットを用いて、オンラインブースティングを多ラベルランク付けに効果的に拡張できるか？
• RQ2 弱学習器のエッジ（ランダム推測よりのパフォーマンス）が既知である場合、オンラインMLRにおける弱学習器の結合に最適な方法は何か？
• RQ3 エッジが任意または未知である弱学習器に対応できるように、オンラインブースティングをどのように適応可能にするか？
• RQ4 オンラインブースティングアルゴリズムは、多ラベルランク付けタスクにおいてバッチ手法と同等の性能を達成できるか？
• RQ5 オンラインMLRブースティングにおいて、理論的最適性と実用的効率性の間の計算的・統計的トレードオフは何か？

主な発見

• OnlineBMRは、既知の正のエッジ仮定下でタイトな理論的損失バウンドを達成し、必要な弱学習器数の観点から最適性を示した。
• Ada.OLMRは、OnlineBMRおよびバッチブースティングベースラインと同等のランク性能を達成したが、理論的損失バウンドは最適でない。
• emotionsデータセットでは、Ada.OLMRは平均ランク損失0.1600を達成し、バッチベースラインの0.1699を上回った。
• sceneデータセットでは、Ada.OLMRはランク損失0.0743を達成し、バッチベースラインの0.0720をわずかに上回った。
• yeastデータセットでは、Ada.OLMRはランク損失0.1836を達成し、バッチベースラインの0.1820と同等の性能を示した。
• OnlineBMRの実行時間はラベル数に伴い著しく悪化する。1週間以内にfull mediamillデータセットで実行することが不可能であったため、m-リダクション版の導入が不可避となった。