[論文レビュー] Matrix Co-completion for Multi-label Classification with Missing Features and Labels

Miao Xu, Gang Niu+4 more|arXiv (Cornell University)|May 23, 2018

Sparse and Compressive Sensing Techniques参考文献 1被引用数 10

ひとこと要約

本稿では、欠損した特徴量とラベルを伴う多値分類のための行列共同補完手法であるCo-completion (COCO) を提案する。COCOは、潜在的低ランク行列Zの非線形シグモイド変換によりラベル確率をモデル化し、[X; Z] が低ランクであると仮定し、リッジ正則化付きの部分勾配降下法を用いて特徴量とラベルを同時に回復する。COCOは、合成データおよび実世界のデータ（CAL500データセット含む）において、最先端の回復性能と一般化性能を達成している。

ABSTRACT

We consider a challenging multi-label classification problem where both feature matrix $\X$ and label matrix $\Y$ have missing entries. An existing method concatenated $\X$ and $\Y$ as $[\X; \Y]$ and applied a matrix completion (MC) method to fill the missing entries, under the assumption that $[\X; \Y]$ is of low-rank. However, since entries of $\Y$ take binary values in the multi-label setting, it is unlikely that $\Y$ is of low-rank. Moreover, such assumption implies a linear relationship between $\X$ and $\Y$ which may not hold in practice. In this paper, we consider a latent matrix $\Z$ that produces the probability $σ(Z_{ij})$ of generating label $Y_{ij}$, where $σ(\cdot)$ is nonlinear. Considering label correlation, we assume $[\X; \Z]$ is of low-rank, and propose an MC algorithm based on subgradient descent named co-completion (COCO) motivated by elastic net and one-bit MC. We give a theoretical bound on the recovery effect of COCO and demonstrate its practical usefulness through experiments.

研究の動機と目的

• 既存の行列補完手法が低ランクラベル行列Yを仮定するという制限を解決する。これは、二値ラベルのエントリがあるため現実的ではない。
• 特徴量とラベルの間の線形関係を仮定するという制限を克服する。これは、現実の多値データでは成り立たない可能性がある。
• ラベル情報を活用して特徴行列の補完を向上させる、教師ありで統合的な回復フレームワークを開発する。
• Y_ij が σ(Z_ij) を通じて確率的に生成されるように、潜在的行列Zを用いてラベル相関をモデル化する。σ(Z_ij) = 1 / (1 + exp(-Z_ij)) により非線形性と現実性を保証する。
• 合成および実世界のデータにおいて、既存手法よりも優れた回復性能と下流分類性能を達成する。

提案手法

• ラベル確率をシグモイド関数で生成する潜在的行列 Z ∈ ℝ^{n×l} を導入する：P(Y_ij = 1) = σ(Z_ij) = 1 / (1 + exp(-Z_ij))。
• 特徴量と潜在的ラベル表現の間の共有構造を捉えるために、連結行列 [X; Z] が近似的に低ランクであると仮定する。
• リッジ正則化と類似するエラスティックネットと1ビット行列補完のインスピレーションを受けて、部分勾配降下法を用いた行列共同補完の目的関数を定式化し、Zを介してXとYを同時に回復する。
• 低ランク性とスパarsity誘導ペナルティを組み合わせた非凸・非滑らか最適化目的関数を用いることで、ロバストネスと一般化性能を向上させる。
• 最適化の収束を保証するため、部分勾配降下法に減少するステップサイズスケジュールを適用する。
• ラベル相関を統合するために、Zを低ランク行列としてモデル化し、複数のラベル間の依存関係を捉える。

実験結果

リサーチクエスチョン

• RQ1 非線形関数を介してラベル確率を生成する潜在的行列Zを用いることで、[X; Y] の直接補完よりも行列共同補完性能が向上するか？
• RQ2 Yが低ランクであると仮定するのではなく、[X; Z] が低ランクであると仮定することで、特徴量とラベルの両方の回復性能が向上するか？
• RQ3 ラベル情報を用いた統合的回復は、非教師あり手法よりも特徴量補完性能を向上させるか？
• RQ4 Maxide や Mc といった既存手法と比較して、COCO の回復誤差および下流分類精度はどの程度優れているか？
• RQ5 提案された COCO アルゴリズムの理論的回復保証は何か？

主な発見

• 合成データでは、n=5000, d=500, l=100, r=20, ω=20 の条件下で、X誤差 0.0143±0.0001、Y誤差 0.0146±0.0002 を達成し、最も低い回復誤差を記録した。
• CAL500 データセットでは、X誤差 0.6477±0.0336、Y誤差 0.1025±0.0004 を達成し、Maxide や Mc を上回る最高の回復性能を示した。
• 回復済みデータで学習した場合、COCOはニューラルネットワークでテスト誤差 0.1469±0.0041、LIMO で 0.1513±0.0068 を達成し、オラクルベースラインの 0.1369±0.0020 に最も近づいた。
• 図2に示すように、COCO の回復誤差は反復回数の増加に伴い減少し、最適化中の安定した収束を示した。
• 理論的分析により、COCO の回復誤差バウンドが得られ、提案された仮定の下でロバストネスと収束性を裏付けるものとなった。
• COCO は、回復および一般化性能の両面で Maxide や Mc を顕著に上回り、潜在的行列Zによるラベル相関のモデル化の有効性を示した。