[論文レビュー] Multi-label classification: do Hamming loss and subset accuracy really conflict with each other?

Guoqiang Wu, Jun Zhu|arXiv (Cornell University)|Nov 16, 2020

Text and Document Classification Technologies参考文献 25被引用数 12

ひとこと要約

本稿は、理論的主張とは対照的に、ハミング損失（HL）最適化モデルがしばしばサブセット正答率（SA）でも良好な性能を示す多ラベル分類における表面的矛盾を解消する。ラデマッハ複雑度とベクトル・コントラクション不等式を用いて、HL最適化アルゴリズムの一般化バウンドがHLに関してはラベル数$c$に依存せず、SAに関しては$O(c)$であることを示し、一方SA最適化モデルは両者に対して$O(\sqrt{c})$のバウンドを持つ。これは、ラベル数が少ない領域でSA性能が優れていることを説明する。実験結果は理論的発見を裏付けている。

ABSTRACT

Various evaluation measures have been developed for multi-label classification, including Hamming Loss (HL), Subset Accuracy (SA) and Ranking Loss (RL). However, there is a gap between empirical results and the existing theories: 1) an algorithm often empirically performs well on some measure(s) while poorly on others, while a formal theoretical analysis is lacking; and 2) in small label space cases, the algorithms optimizing HL often have comparable or even better performance on the SA measure than those optimizing SA directly, while existing theoretical results show that SA and HL are conflicting measures. This paper provides an attempt to fill up this gap by analyzing the learning guarantees of the corresponding learning algorithms on both SA and HL measures. We show that when a learning algorithm optimizes HL with its surrogate loss, it enjoys an error bound for the HL measure independent of $c$ (the number of labels), while the bound for the SA measure depends on at most $O(c)$. On the other hand, when directly optimizing SA with its surrogate loss, it has learning guarantees that depend on $O(\\sqrt{c})$ for both HL and SA measures. This explains the observation that when the label space is not large, optimizing HL with its surrogate loss can have promising performance for SA. We further show that our techniques are applicable to analyze the learning guarantees of algorithms on other measures, such as RL. Finally, the theoretical analyses are supported by experimental results.

研究の動機と目的

• 多ラベル分類においてハミング損失（HL）とサブセット正答率（SA）が矛盾するという理論的主張と、実際の観察結果との乖離を解消すること。
• 仮説空間が制限された現実的状況と、条件付き分布が既知であると仮定しないという制限を克服して、HL, SA, ランキング損失（RL）の学習アルゴリズムの一般化誤差バウンドを提供すること。
• 理論的期待とは対照的に、HLを最適化するアルゴリズムが、ラベル数が少ない領域でなぜSA性能を高めるのかを説明すること。
• 分析を他の指標（例：RL）に拡張し、実験によってその妥当性を検証すること。

提案手法

• 著者らは、ラデマッハ複雑度とベクトル・コントラクション不等式を用いて、カーネルベースの学習アルゴリズムのHL, SA, RLに対する一般化バウンドを導出する。
• SAのための新しい凸な代替損失関数$L_s$を提案し、計算効率が良く、ラベルの依存関係を組み込める。
• 分析は、HLの代替損失関数を用いてHLを最適化するアルゴリズム$\mathcal{A}^h$と、$L_s$を用いて直接SAを最適化するアルゴリズム$\mathcal{A}^s$の2つのアルゴリズムに焦点を当てる。
• 両アルゴリズムの理論的バウンドを導出し、$\mathcal{A}^h$がSAに関しては$c$に$O(c)$の依存性を示す一方、$\mathcal{A}^s$はHLおよびSAの両方で$O(\sqrt{c})$の依存性を持つことを示した。
• ランクイング損失（RL）の分析も、代替損失関数を用いて拡張し、RLに対して$O(\sqrt{c})$のバウンドを導出した。
• 理論的結果は、多ラベルデータセットを用いた実験によって裏付けられている。

実験結果

リサーチクエスチョン

• RQ1 理論的主張とは対照的に、ハミング損失（HL）を最適化するアルゴリズムが、なぜラベル数が少ない領域でサブセット正答率（SA）において優れた性能を示すのか？
• RQ2 制限された仮説空間を持つ現実的学習状況において、HLおよびSAの一般化誤差バウンドは、ラベル数$c$にどのように依存するか？
• RQ3 既存の手法よりもタイトな一般化バウンドを提供する一方で、計算効率を維持できるSAの代替損失関数を設計できるか？
• RQ4 ラデマッハ複雑度とベクトル・コントラクション不等式を用いて導出したHL, SA, RLの学習保証は、どのように比較できるか？

主な発見

• HLの代替損失関数を用いた最適化における一般化バウンドは、ラベル数$c$に依存せず、ラベル空間のサイズに頑健であることを示している。
• HL最適化下でのSAの一般化バウンドは$O(c)$に依存するが、これはラベル数が少ない領域では依然として有利である。
• 対照的に、$L_s$を用いたSAの直接的最適化では、HLおよびSAの両方で$O(\sqrt{c})$のバウンドが得られ、ラベル数が多い領域でのスケーラビリティが向上する。
• 理論的分析により、HL最適化モデルがラベル数が少ない領域でSA最適化モデルを上回る性能を示す理由が解明され、長年の実験的パラドックスが解消された。
• 提案されたSA用の代替損失関数$L_s$は計算効率が良く、ラベルの依存関係を組み込めるため、構造的SVMの実用的代替手段として有効である。
• 実験結果は理論的発見を裏付け、$c$が小さい場合にHL最適化モデルが優れたSA性能を達成することを確認した。