[論文レビュー] A Self-Paced Regularization Framework for Multi-Label Learning

Changsheng Li, Fan Wei+5 more|arXiv (Cornell University)|Mar 22, 2016

Text and Document Classification Technologies参考文献 4被引用数 5

ひとこと要約

本稿では、自己スケジューリング学習をマルチラベル分類に統合する新しいフレームワーク、マルチラベル自己スケジューリング学習（MLSPL）を提案する。MLSPLは、インスタンスとラベルの複雑さを同時にランク付けすることで、モデルのロバスト性と精度を向上させる。自己スケジューリング正則化項を導入し、段階的に簡単な例から組み込むことで、ベンチマークデータセット上で最先端の性能を達成し、カバレッジやone-errorといった主要指標において、既存手法を最大25.8%上回る性能を発揮した。

ABSTRACT

In this paper, we propose a novel multi-label learning framework, called Multi-Label Self-Paced Learning (MLSPL), in an attempt to incorporate the self-paced learning strategy into multi-label learning regime. In light of the benefits of adopting the easy-to-hard strategy proposed by self-paced learning, the devised MLSPL aims to learn multiple labels jointly by gradually including label learning tasks and instances into model training from the easy to the hard. We first introduce a self-paced function as a regularizer in the multi-label learning formulation, so as to simultaneously rank priorities of the label learning tasks and the instances in each learning iteration. Considering that different multi-label learning scenarios often need different self-paced schemes during optimization, we thus propose a general way to find the desired self-paced functions. Experimental results on three benchmark datasets suggest the state-of-the-art performance of our approach.

研究の動機と目的

• 既存のマルチラベル学習手法が、ラベルやインスタンスの固有の複雑さに関係なく同等に扱うという限界を解消すること。
• 人間の学習プロセスを模倣し、簡単な例から難しい例へと段階的に進むことで、非凸なマルチラベル最適化における局所最適解の問題を克服すること。
• さまざまなマルチラベル学習シナリオに適応可能な一般化可能な自己スケジューリング関数学習メカニズムを開発すること。
• トレーニング中にインスタンスとラベルの複雑さを共同でモデル化することで、モデルの一般化性能と予測性能を向上させること。

提案手法

• 各トレーニングイテレーションで、インスタンスとラベルの両方の難易度を同時にランク付けする自己スケジューリング正則化項を提案する。
• 複雑さに基づいてトレーニングサンプルの含め方を制御する自己スケジューリング正則化項を組み込んだマルチラベル学習目的関数を定式化する。
• 異なる学習シナリオに適応するための最適な自己スケジューリング関数を学ぶ一般戦略を導入し、適応的学習スキームを可能にする。
• 自己スケジューリングパラメータを段階的に増加させることで、複雑なインスタンスとラベルを時間とともに徐々に含める反復的最適化アルゴリズムを設計する。
• シグモイド、指数関数、双曲正 tangent（tanh）、逆正接（arctan）などの活性化関数を候補の自己スケジューリングスキームとして用い、λとμのハイパーパrameterチューニングを実施する。
• 自己スケジューリング正則化項をマルチラベル学習フレームワークに統合し、モデルパラメータとサンプル選択の共同最適化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 簡単なインスタンスとラベルを優先する自己スケジューリング学習戦略は、標準的手法と比較してマルチラベル分類性能を向上させることができるか？
• RQ2 自己スケジューリング正則化は、マルチラベル学習においてインスタンスとラベルの複雑さを効果的に共同でモデル化するためにどのように適切に定式化できるか？
• RQ3 シグモイド関数や指数関数などの異なる自己スケジューリング関数が、マルチラベル学習モデルの性能に与える影響は何か？
• RQ4 多様なマルチラベル学習シナリオに適応可能な、自己スケジューリング関数を学ぶ一般化可能な手法を開発できるか？
• RQ5 提案されたMLSPLフレームワークは、複数のベンチマークデータセットにおいて、最先端のマルチラベル学習手法を上回る性能を発揮するか？

主な発見

• MLSPLは、flags、scene、emotionsの3つのベンチマークデータセットで最先端の性能を達成し、比較されたすべての手法を5つの評価指標で上回った。
• flagsデータセットでは、2番目に良い手法であるTRAMと比較して、ハミング損失で13.4%、ランク損失で8.4%、one-errorで25.8%、カバレッジで4.1%、平均適合度で1.7%の相対的改善を達成した。
• emotionsデータセットではシグモイド関数が最良の性能を示し、flagsデータセットでは指数関数が最良であった。これは、シナリオに応じた自己スケジューリングスキームの必要性を示している。
• シグモイド関数を用いた手法は、emotionsデータセットでハミング損失0.1933 ± 0.0062、平均適合度0.8228 ± 0.0005を達成し、ML-LOCその他のベースラインを上回った。
• 選択行列Vのすべての要素を1に設定した場合、MLSPLはML-LOCに簡略化される。これは、MLSPLが複雑さに配慮した学習を組み込むことで、既存手法を一般化し改善していることを確認している。
• 図2のアブレーションスタディにより、異なる自己スケジューリング関数がデータセットごとに異なる性能を示すことが確認され、最適な結果を得るためには適応的関数選択の必要性が裏付けられた。