[논문 리뷰] Learning Deep Latent Spaces for Multi-Label Classification

Chih‐Kuan Yeh, Wei-Chieh Wu외 2명|arXiv (Cornell University)|2017. 07. 03.

Text and Document Classification Technologies참고 문헌 18인용 수 52

한 줄 요약

C2AE는 Deep Canonical Correlation Analysis와 오토인코더를 통합하여 특징-레이블 임베딩 및 레이블-상관 예측에 대해 특징 인식 잠재 공간을 학습하고, 레이블 누락에 강건한 다중 레이블 예측을 제공합니다.

ABSTRACT

Multi-label classification is a practical yet challenging task in machine learning related fields, since it requires the prediction of more than one label category for each input instance. We propose a novel deep neural networks (DNN) based model, Canonical Correlated AutoEncoder (C2AE), for solving this task. Aiming at better relating feature and label domain data for improved classification, we uniquely perform joint feature and label embedding by deriving a deep latent space, followed by the introduction of label-correlation sensitive loss function for recovering the predicted label outputs. Our C2AE is achieved by integrating the DNN architectures of canonical correlation analysis and autoencoder, which allows end-to-end learning and prediction with the ability to exploit label dependency. Moreover, our C2AE can be easily extended to address the learning problem with missing labels. Our experiments on multiple datasets with different scales confirm the effectiveness and robustness of our proposed method, which is shown to perform favorably against state-of-the-art methods for multi-label classification.

연구 동기 및 목표

• 실세계 데이터에서 인스턴스마다 복수의 레이블을 예측하는 도전을 동기 부여하고 해결한다.
• 특징과 레이블 임베딩을 공통 잠재 공간에서 함께 학습하는 딥러닝 프레임워크를 제안한다.
• 디코딩 과정에서 레이블 간 의존성을 활용하기 위해 레이블-상관 인식 손실을 도입한다.
• 레이블 누락이 있는 학습 데이터에서도 성능 저하 없이 모델을 확장한다.

제안 방법

• Canonical-Correlated Autoencoder (C2AE)로 Deep Canonical Correlation Analysis (DCCA)와 오토인코더를 결합한다.
• 공유 잠재 공간 L을 학습하기 위해 공동 손실: Phi(Fx,Fe)로 특징/레이블 임베딩과 Gamma(Fe,Fd)로 레이블 출력 복원을 최적화한다.
• Phi는 F_x(X)와 F_e(Y)의 정렬을 L에서 보존하도록 직교성 제약을 부여하여 CCA를 흉내 낸다 (F_x(X)F_x(X)^T = F_e(Y)F_e(Y)^T = I).
• Gamma는 양의 레이블 쌍과 음의 레이블 쌍을 비교하는 레이블-상관 인식 디코딩 손실을 구현하여 레이블 동시발생을 보존한다.
• 누락된 레이블에 대해 알려진 양의/음의 쌍을 사용하여 Gamma를 계산하고 누락된 레이블을 마스킹하는 전처리를 도입한다.
• Fx, Fe, Fd를 업데이트하는 경사하강법으로 엔드투엔드 최적화를 수행한다.

실험 결과

연구 질문

• RQ1 C2AE가 표준 다중 레이블 데이터셋에서 상태 예측 임베딩 및 DNN 기반 방법보다 우수한가요?
• RQ2 특징과 레이블을 연결하는 깊은 잠재 공간을 도입하면 레이블 의존성을 활용하여 예측 정확도가 향상되나요?
• RQ3 C2AE가 누락된 레이블을 처리하면서 성능 저하를 크게 줄일 수 있나요?
• RQ4 잠재 공간 차원 수가 레이블 공간에 대해 어떤 영향을 미치나요?

주요 결과

• C2AE는 다수의 데이터셋에서 레이블 임베딩 기반 기준보다 우수한 성능을 보이며 비선형 특징/레이블 임베딩과 레이블 의존성을 활용합니다.
• NUS-WIDE에서 C2AE는 DNN 기반 방법 중에서 매크로-F1과 마이크로-F1 모두에서 최고 성능을 달성하며 Macro-F1은 48.6, Micro-F1은 67.6입니다.
• C2AE는 CNN-WARP, CNN-RNN, DNN-BCE, BP-MLL 등에 비해 per-class 및 전체 지표에서 크게 우수합니다.
• C2AE는 Titan X GPU를 사용한 NUS-WIDE에서 10–15분의 학습 시간을 보여 다른 DNN 방법에 비해 효율적입니다.
• C2AE는 누락 레이블 상황에서도 강건하며 다양한 누락 비율에서 LEML, MLML 및 ML-MG을 능가합니다.