[论文解读] Generalized Label Enhancement with Sample Correlations

Qinghai Zheng, Jihua Zhu+4 more|arXiv (Cornell University)|Apr 7, 2020

Text and Document Classification Technologies参考文献 31被引用 10

一句话总结

本文提出了 LESC 和 gLESC 兩種新型標籤增強方法，利用低秩與張量多秩表示，挖掘特徵空間與標籤空間中的全局樣本相關性，顯著提升在 14 個基準資料集上標籤分佈恢復的表現，優於現有最先进方法。

ABSTRACT

Recently, label distribution learning (LDL) has drawn much attention in machine learning, where LDL model is learned from labelel instances. Different from single-label and multi-label annotations, label distributions describe the instance by multiple labels with different intensities and accommodate to more general scenes. Since most existing machine learning datasets merely provide logical labels, label distributions are unavailable in many real-world applications. To handle this problem, we propose two novel label enhancement methods, i.e., Label Enhancement with Sample Correlations (LESC) and generalized Label Enhancement with Sample Correlations (gLESC). More specifically, LESC employs a low-rank representation of samples in the feature space, and gLESC leverages a tensor multi-rank minimization to further investigate the sample correlations in both the feature space and label space. Benefitting from the sample correlations, the proposed methods can boost the performance of label enhancement. Extensive experiments on 14 benchmark datasets demonstrate the effectiveness and superiority of our methods.

研究动机与目标

• 解決在現實應用中因缺乏標籤分佈而從邏輯標籤恢復標籤分佈的挑戰。
• 透過利用特徵空間中的全局樣本相關性來改進標籤增強，克服局部相似性方法的限制。
• 透過張量基多秩最小化，將樣本相關性不僅引入特徵空間，也引入標籤空間，從而擴展標籤增強方法。
• 開發對超參數不敏感、在多樣資料集上具有良好泛化能力的方法。

提出的方法

• 提出「樣本相關性標籤增強」（LESC），利用特徵空間中樣本的低秩表示來捕捉全局樣本相關性。
• 引入廣義 LESC（gLESC），透過張量多秩最小化，聯合建模特徵空間與標籤空間中的相關性。
• 對資料子空間表示施加低秩約束，以揭示特徵空間的本質全局結構。
• 使用結合低秩結構與標籤分佈恢復的聯合優化框架，並透過權衡參數 λ₁ 和 λ₂ 進行正則化。
• 利用標籤為語義特徵的事實，使特徵空間中的低秩結構可有效轉移到標籤空間。
• 採用 ADMM 等優化演算法，解決非凸且受低秩約束的標籤恢復問題。

实验结果

研究问题

• RQ1 特徵空間中的全局樣本相關性是否能顯著提升標籤分佈恢復表現？
• RQ2 同時結合特徵空間與標籤空間的樣本相關性，是否能優於僅使用特徵空間的方法？
• RQ3 所提出的方法對超參數 λ₁ 和 λ₂ 的變動有多大的魯棒性？
• RQ4 所提出的方法是否能在多樣的基準資料集上超越現有最先进標籤增強技術？

主要发现

• LESC 與 gLESC 在 14 個基準資料集上的標籤分佈恢復表現，顯著優於現有最先进方法（包括 GLLE）。
• gLESC 表現優於 LESC，p 值分別為 0.0008（Cheb）、0.0044（Cosine）與 0.0006（Intersec），顯示強統計顯著性。
• 所提出的方法對超參數變動具有魯棒性，性能在 λ₁ 與 λ₂ 的廣泛取值範圍內保持穩定，恢復指標波動極小。
• gLESC 持續優於 LESC，證實同時結合特徵與標籤空間的樣本相關性可帶來更佳的恢復效果。
• 樣本的低秩表示能有效捕捉全局結構，使其極適合用於標籤增強任務。
• 即使在最壞情境下，所提出方法的表現仍優於最佳基線（例如在 Yeast-alpha 資料集上，Cosine 指標為 0.987 對 0.973），確認其魯棒性與優越性。