[論文レビュー] ZLPR: A Novel Loss for Multi-label Classification

Jianlin Su, Mingren Zhu+4 more|arXiv (Cornell University)|Aug 5, 2022

Text and Document Classification Technologies被引用数 26

ひとこと要約

ZLPR はゼロ境界付き log-sum-exp と ペアワイズ順位ベースの損失を多ラベル分類へ導入し、ラベル数の不確実性を扱い、ラベル依存関係を効率的な予測で捉えます。

ABSTRACT

In the era of deep learning, loss functions determine the range of tasks available to models and algorithms. To support the application of deep learning in multi-label classification (MLC) tasks, we propose the ZLPR (zero-bounded log-sum-exp \& pairwise rank-based) loss in this paper. Compared to other rank-based losses for MLC, ZLPR can handel problems that the number of target labels is uncertain, which, in this point of view, makes it equally capable with the other two strategies often used in MLC, namely the binary relevance (BR) and the label powerset (LP). Additionally, ZLPR takes the corelation between labels into consideration, which makes it more comprehensive than the BR methods. In terms of computational complexity, ZLPR can compete with the BR methods because its prediction is also label-independent, which makes it take less time and memory than the LP methods. Our experiments demonstrate the effectiveness of ZLPR on multiple benchmark datasets and multiple evaluation metrics. Moreover, we propose the soft version and the corresponding KL-divergency calculation method of ZLPR, which makes it possible to apply some regularization tricks such as label smoothing to enhance the generalization of models.

研究の動機と目的

• 深層学習をサポートする多ラベル分類(MLC)タスク向けの損失関数を動機付ける。
• 対象ラベル数が不確定な場合でもラベル相関を考慮できる損失を開発する。
• LP法の代替として計算効率が高く、BR法よりも依存性を意識した性能を提供する。
• 正則化のためのKL散逸を用いたソフト版を提案し、一般化を改善する。

提案手法

• ZLPR 損失を L_zlpr = log(1 + sum_{i in Omega_pos} e^{-s_i}) + log(1 + sum_{j in Omega_neg} e^{s_j}) と定義する。ここで Omega_pos は正ラベル集合、Omega_neg は Lambda rac{Omega_pos} Omega である。
• s_i はモデルのロジットであり、zero-bounded は予測時のターゲット関連性における s_i の符号を指す。
• ZLPR が BR と LR の利点を組み合わせ、ラベル依存性の捕捉を可能にしつつ予測効率を保つことを示す。
• 内積を用いた等価形を導出: L_zlpr = log(1 + <y, e^{-s}>) + log(1 + <1 - y, e^{s}>) ただし y はマルチホットラベルベクトルである。
• 実用性のため s_0 = 0 として閾値無し形へ簡略化した TLPR の前駆体を導入。
• ラベル probabilistic のためのソフトラベル版 L_zlpr^soft と、その勾配を導出し、ラベルスムージング採用の可能性を議論。

実験結果

リサーチクエスチョン

• RQ1 ZLPR は対象ラベル数が不確定な MLC タスクを効果的に扱えるか？
• RQ2 ZLPR は BR よりラベル依存性を捉え LR ベースの損失と競合できるか？
• RQ3 LP ベースの手法と比べて深層学習モデルに対して計算効率が高いか？
• RQ4 KL 散逸正則化を用いた ZLPR のソフト版は一般化を改善するか？

主な発見

• ZLPR は SubACC の良好な性能を発揮し、22 件中 16 件でベストとなり、ラベル依存性を効果的に捉えることを示唆している。
• ZLPR は AvgPrec や RankLoss といったランキングベースの指標でもデータセットを跨いで良好な成績を示す。
• DL2 は MLC-F1、Micro-F1、Macro-F1 で ZLPR に匹敵し得るが、複数の F1 ベースの指標では BCE、FL、DL1 より上回ることがある。
• LSEP および BCE と比べて ZLPR は正の影響と負の影響のバランスを取り、サンプリングの高コストを避けつつ依存情報を維持する。
• ZLPR はKL散逸を用いたソフトラベル版を可能にし、ラベルスムージングやドロップアウトベースの正則化技術を適用可能にする。