[論文レビュー] A Unified View of Multi-Label Performance Measures

Xi-Zhu Wu, Zhi‐Hua Zhou|arXiv (Cornell University)|Sep 1, 2016

Text and Document Classification Technologies参考文献 13被引用数 99

ひとこと要約

本論文は11のマルチラベル性能指標に対する統一的なマージンベースの枠組みを提案し、LIMOを提案する。これはラベルごととインスタンスごとのマージンを最適化して、さまざまな評価指標をカバーする最大マージン手法である。

ABSTRACT

Multi-label classification deals with the problem where each instance is associated with multiple class labels. Because evaluation in multi-label classification is more complicated than single-label setting, a number of performance measures have been proposed. It is noticed that an algorithm usually performs differently on different measures. Therefore, it is important to understand which algorithms perform well on which measure(s) and why. In this paper, we propose a unified margin view to revisit eleven performance measures in multi-label classification. In particular, we define label-wise margin and instance-wise margin, and prove that through maximizing these margins, different corresponding performance measures will be optimized. Based on the defined margins, a max-margin approach called LIMO is designed and empirical results verify our theoretical findings.

研究の動機と目的

• さまざまなマルチラベル指標がどのように関連し、アルゴリズムがそれらの間でなぜ異なるパフォーマンスを示すのかを理解する必要性を動機づける。
• 複数の性能指標を結びつけるための統一的なマージンベースの見方（ラベルごとのマージンとインスタンスごとのマージン）を定義する。
• これらのマージンを最大化することが、指標の異なるサブセットの最適化につながることを示し、それを実現する実用的な max-margin 学習器（LIMO）を設計する。

提案手法

• マルチラベル予測器 F の識別力を定量化するために、ラベルごとのマージンとインスタンスごとのマージンを定義する。
• マージンをHamming loss, ranking loss, one-error, coverage, average precision, macro-/micro-F1, そして AUCs を含む eleven measures に理論的に結びつける。
• 双方のマージンを同時に最大化する、2 つの制約集合を持つ凸状の目的関数を用いた線形予測器 max-margin モデルである LIMO を提案する。
• 分散可能な訓練のスケーラビリティを持つ SGD ベースの最適化を提供し、任意のマージンを別々に最適化する (LIMO-inst または LIMO-label) または両方 (LIMO) を選択できる。
• Predictors F を classifiers H に変換する閾値設定戦略を示し、それらが micro-/macro- 指標へ及ぼす影響を分析する。

実験結果

リサーチクエスチョン

• RQ1 マージンベースの見方の下で、マルチラベル性能指標はどのように関連しているか。
• RQ2 どのマージン（ラベルごとかインスタンスごとか）が特定の指標の最適化を導くのか。
• RQ3 同じ手法（LIMO）を、マージンを調整することにより異なる指標の最適化へ適応させることが可能か。
• RQ4 閾値と最適化のダイナミクスは、分類とランキングのパフォーマンスのトレードオフにどう影響するか。
• RQ5 synthetic およびベンチマークデータセットでの実験結果は、 margin ベース理論が多様な指標を横断して妥当であることを示しているか。

主な発見

• ラベルごとのマージンは、ランキング関連の指標（ranking loss, one-error, coverage, average precision, instance-AUC）の最適化を保証する。
• インスタンスごとのマージンは、macro-AUC の最適化を保証し、十分なデータがある場合には micro-AUC を含む複数の指標を二重に有効にする。
• LIMOはハイパーパラメータに応じてどちらか一方のマージン、または両方を最適化できる統一的な max-margin フレームワークを提供し、閾値は micro/macro F 指標に影響を与えると分析される。
• synthetic および5つのベンチマークデータセットでの実験は、LIMOが概ね多くの指標で高順位を占め、LIMO-labelが特定のランキング指標で優れ、LIMO-instが他の指標で優れることを示す。
• 本研究は、多様なマルチラベル指標が共通の margin ベースの性質を共有しており、異なる評価目標に適応する単一のアプローチを可能にすることを検証する。