[論文レビュー] Generalized Label Enhancement with Sample Correlations

Qinghai Zheng, Jihua Zhu+4 more|arXiv (Cornell University)|Apr 7, 2020

Text and Document Classification Technologies参考文献 31被引用数 10

ひとこと要約

本稿では、特徴空間およびラベル空間の両方におけるグローバルなサンプル相関を、低ランクおよびテンソル多次元ランク表現を用いて活用する、LESCおよびgLESCの2つの新しいラベル強化手法を提案する。14のベンチマークデータセットにおいて、最先端の手法と比較して、ラベル分布回復性能が顕著に向上する。

ABSTRACT

Recently, label distribution learning (LDL) has drawn much attention in machine learning, where LDL model is learned from labelel instances. Different from single-label and multi-label annotations, label distributions describe the instance by multiple labels with different intensities and accommodate to more general scenes. Since most existing machine learning datasets merely provide logical labels, label distributions are unavailable in many real-world applications. To handle this problem, we propose two novel label enhancement methods, i.e., Label Enhancement with Sample Correlations (LESC) and generalized Label Enhancement with Sample Correlations (gLESC). More specifically, LESC employs a low-rank representation of samples in the feature space, and gLESC leverages a tensor multi-rank minimization to further investigate the sample correlations in both the feature space and label space. Benefitting from the sample correlations, the proposed methods can boost the performance of label enhancement. Extensive experiments on 14 benchmark datasets demonstrate the effectiveness and superiority of our methods.

研究の動機と目的

• 現実世界の応用においてラベル分布が利用できない状況で、論理的ラベルからラベル分布を回復する課題に対処すること。
• 局所的類似度手法の限界を克服するため、特徴空間におけるグローバルなサンプル相関を活用することで、ラベル強化を改善すること。
• 特徴空間に加え、ラベル空間におけるサンプル相関をテンソルベースの多次元ランク最小化を用いて統合することで、ラベル強化を拡張すること。
• 多様なデータセットに広く一般化できる、ハイパーパrameterに依存しない堅牢な手法を開発すること。

提案手法

• 特徴空間におけるサンプルの低ランク表現を用いてグローバルなサンプル相関を捉える、サンプル相関を用いたラベル強化（LESC）を提案する。
• 一般化LESC（gLESC）を導入し、特徴空間およびラベル空間の両方における相関を連合的にモデル化するために、テンソル多次元ランク最小化を適用する。
• データ部分空間表現に低ランク制約を適用することで、特徴空間の内在的なグローバル構造を明らかにする。
• 低ランク構造とラベル分布回復を統合した共同最適化フレームワークを採用し、調整パrameter λ₁ および λ₂ を用いた正則化を施す。
• ラベルが意味的特徴であることに着目し、特徴からラベルへの低ランク構造の転送を可能にする。
• 非凸かつ低ランク制約付きのラベル回復問題を解くために、ADMMなどの最適化アルゴリズムを用いる。

実験結果

リサーチクエスチョン

• RQ1 特徴空間におけるグローバルなサンプル相関は、ラベル分布回復性能を顕著に向上させることができるか？
• RQ2 特徴空間に加えラベル空間からのサンプル相関を統合することで、特徴空間のみを用いる場合よりも優れたラベル強化が達成できるか？
• RQ3 ハイパーパrameter λ₁ および λ₂ の変動に対して、提案手法はどれほど頑健か？
• RQ4 提案手法は多様なベンチマークデータセットにおいて、既存の最先端のラベル強化技術を上回ることができるか？

主な発見

• LESCおよびgLESCは、GLLEを含む既存の最先端手法と比較して、14のベンチマークデータセットすべてにおいてラベル分布回復性能で顕著に優れている。
• gLESCはLESCよりも優れた性能を示し、p値が 0.0008（Cheb）、0.0044（Cosine）、0.0006（Intersec）であるため、強い統計的有意性が裏付けられている。
• 提案手法はハイパーパrameterの変動に対して頑健であり、λ₁ および λ₂ の広い範囲において性能が安定しており、回復指標の変動が最小限に抑えられている。
• gLESCはLESCを常に上回り、特徴空間およびラベル空間の両方からのサンプル相関を統合することで、より優れた回復結果が得られることを示している。
• サンプルの低ランク表現はグローバル構造を効果的に捉えており、ラベル強化タスクに非常に適している。
• 最悪ケースでも、提案手法は最良のベースライン（例：Yeast-alphaでCosine指標で0.987 vs. 0.973）を上回っており、その頑健性と優位性が確認された。