[論文レビュー] Learning Deep Latent Spaces for Multi-Label Classification

Chih‐Kuan Yeh, Wei-Chieh Wu+2 more|arXiv (Cornell University)|Jul 3, 2017

Text and Document Classification Technologies参考文献 18被引用数 52

ひとこと要約

C2AEはDeep Canonical Correlation Analysisとオートエンコーダを統合し、特徴/ラベルの埋め込みとラベル相関を意識した予測を可能にする、欠損ラベルに対して頑健な特徴認識潜在空間を学習します。

ABSTRACT

Multi-label classification is a practical yet challenging task in machine learning related fields, since it requires the prediction of more than one label category for each input instance. We propose a novel deep neural networks (DNN) based model, Canonical Correlated AutoEncoder (C2AE), for solving this task. Aiming at better relating feature and label domain data for improved classification, we uniquely perform joint feature and label embedding by deriving a deep latent space, followed by the introduction of label-correlation sensitive loss function for recovering the predicted label outputs. Our C2AE is achieved by integrating the DNN architectures of canonical correlation analysis and autoencoder, which allows end-to-end learning and prediction with the ability to exploit label dependency. Moreover, our C2AE can be easily extended to address the learning problem with missing labels. Our experiments on multiple datasets with different scales confirm the effectiveness and robustness of our proposed method, which is shown to perform favorably against state-of-the-art methods for multi-label classification.

研究の動機と目的

• 現実世界のデータで各サンプルに対して複数のラベルを予測する課題を動機づけ、対処する。
• 特徴とラベルの埋め込みを共通の潜在空間で jointly 学習する深層学習フレームワークを提案する。
• デコード時にクロスラベル依存関係を活用するラベル相関を意識した損失を組み込む。
• 欠損ラベルを含む訓練データに対しても性能低下を最小限に抑えるようモデルを拡張する。

提案手法

• Deep Canonical Correlation Analysis (DCCA)とオートエンコーダを組み合わせた Canonical-Correlated Autoencoder (C2AE) を提案する。
• 特徴/ラベル埋め込みの共通潜在空間 L を、結合損失 Phi(Fx,Fe) とラベル出力回復損失 Gamma(Fe,Fd) を最適化して学習する。
• Phi は Fx(X) と Fe(Y) の L における整列を、直交性制約を用いて CCA を模倣するように強制する（F_x(X)F_x(X)^T = F_e(Y)F_e(Y)^T = I）。
• Gamma は正のラベルペアと負のラベルペアを比較してラベル共発生を保持するようなラベル相関を意識したデコード損失を実装する。
• 欠損ラベルへ拡張するために、既知の正/負のペアを用いて Gamma を計算し、欠損ラベルをマスクする前処理を適用する。
• Fx、Fe、Fd を更新する勾配降下法によるエンドツーエンド最適化。

実験結果

リサーチクエスチョン

• RQ1 C2AE は標準的なマルチラベルデータセットで、ラベル埋め込みベースラインや DNN ベースの手法より優れた性能を発揮するか。
• RQ2 特徴とラベルを結ぶ深い潜在空間を組み込むことで、ラベル依存関係を活用して予測精度を改善できるか。
• RQ3 欠損ラベルを伴う場合でも C2AE は性能の大幅な低下を避けられるか。
• RQ4 潜在空間の次元数がラベル空間に対してどのように影響するか。

主な発見

手法	C-P	C-R	C-F1	O-P	O-R	O-F1
CNN-WARP	31.7	35.6	33.5	48.6	60.5	53.9
CNN-RNN	40.5	30.4	34.7	49.9	61.7	55.2
DNN-BCE	42.2	23.7	21.7	56.6	67.0	61.4
BP-MLL	44.5	39.8	38.3	57.3	68.9	62.5
C2AE	55.8	45.3	48.6	66.2	69.1	67.6

• C2AE は複数データセットでラベル埋め込みベースラインに対して有利な性能を達成し、非線形な特徴/ラベル埋め込みとラベル依存性を活用している。
• NUS-WIDE では、C2AE は DNN ベースの手法の中で Macro-F1 と Micro-F1 の最高値を達成し、Macro-F1 48.6、Micro-F1 67.6。
• C2AE は CNN-WARP、CNN-RNN、DNN-BCE、BP-MLL に比べて per-class および全体指標の両方で大幅に上回る。
• C2AE は訓練が効率的で、NUS-WIDE で Titan X GPU を用いた場合 10–15 分程度。
• 欠損ラベルシナリオでも頑健で、欠損率の異なるレベルに対して LEML、MLML、ML-MG を上回る。