[논문 리뷰] Locally Non-linear Embeddings for Extreme Multi-label Learning

Kush Bhatia, Himanshu Jain외 3명|arXiv (Cornell University)|2015. 07. 09.

Text and Document Classification Technologies참고 문헌 29인용 수 6

한 줄 요약

이 논문은 희귀(꼬리) 레이블을 위한 다수의 국소적 거리 유지 임베딩을 학습하여 정확도와 확장성을 향상시키기 위해 국소적으로 비선형 임베딩을 사용하는 새로운 극단적 다중라벨 분류 방법 X1을 제안한다. 기존의 저랭크 임베딩 방법과 달리 X1은 제한적인 저랭크 가정을 피하며, 최신 임베딩 방법보다 최대 35% 높은 P@1 정확도와 트리 기반 방법보다 6% 높은 정확도를 달성한다. 이는 백만 개의 레이블을 포함하는 데이터셋에서도 확장 가능하며, LEML보다 300배 빠른 예측 속도를 제공한다.

ABSTRACT

The objective in extreme multi-label learning is to train a classifier that can automatically tag a novel data point with the most relevant subset of labels from an extremely large label set. Embedding based approaches make training and prediction tractable by assuming that the training label matrix is low-rank and hence the effective number of labels can be reduced by projecting the high dimensional label vectors onto a low dimensional linear subspace. Still, leading embedding approaches have been unable to deliver high prediction accuracies or scale to large problems as the low rank assumption is violated in most real world applications. This paper develops the X-One classifier to address both limitations. The main technical contribution in X-One is a formulation for learning a small ensemble of local distance preserving embeddings which can accurately predict infrequently occurring (tail) labels. This allows X-One to break free of the traditional low-rank assumption and boost classification accuracy by learning embeddings which preserve pairwise distances between only the nearest label vectors. We conducted extensive experiments on several real-world as well as benchmark data sets and compared our method against state-of-the-art methods for extreme multi-label classification. Experiments reveal that X-One can make significantly more accurate predictions then the state-of-the-art methods including both embeddings (by as much as 35%) as well as trees (by as much as 6%). X-One can also scale efficiently to data sets with a million labels which are beyond the pale of leading embedding methods.

연구 동기 및 목표

• 실세계 데이터에서 저랭크 가정 위반으로 인해 임베딩 기반 방법이 희귀(꼬리) 레이블에서 성능이 열악한 문제를 해결하기 위해.
• 레이블 공간이 매우 넓을 경우(예: 수백만 레이블)에도 높은 예측 정확도를 유지할 수 있는 확장 가능한 방법을 개발하기 위해.
• 국소적 임베딩과 앙상블 학습을 융합하여 극단적 다중라벨 학습에서 정확도와 효율성 간의 상충 관계를 극복하기 위해.
• 샘플당 예측 시간을 10ms 이내로 줄여, FastXML과 같은 트리 기반 방법에 가까운 빠른 추론을 가능하게 하기 위해.
• 특히 흔하지 않은 레이블에서 복잡한 레이블 관계를 더 잘 포착할 수 있도록 국소적 비선형 임베딩이 전역 선형 임베딩보다 우수한 성능을 보임을 입증하기 위해.

제안 방법

• 레이블 벡터의 국소적 이웃에 집중하는 다수의 소규모 임베딩을 학습하는 국소적 거리 유지 임베딩 프레임워크를 제안한다.
• k-means 클러스터링을 사용해 레이블 공간을 국소 영역으로 분할한 후, 각 클러스터에 대해 서로 가까운 레이블 간의 쌍별 거리를 유지하는 별도의 거리 유지 임베딩을 학습한다.
• 각 학습기마다 샘플의 레이블 벡터의 임베딩 표현을 예측하는 공유된 특징-임베딩 매핑을 사용해 이러한 국소적 임베딩의 앙상블을 훈련한다.
• 압축 해제 행렬을 활용해 임베딩 예측에서 원래의 레이블 공간을 복원함으로써 효율적인 다중라벨 예측을 가능하게 한다.
• 지속 가능한 확장성을 위해 국소 레이블 구조를 유지하면서도 저차원 표현을 유지하는 공동 목적 함수를 사용해 임베딩 학습 과정을 최적화한다.
• 다양한 클러스터 간의 예측을 통합하는 최종 예측 파이프라인에 국소 임베딩 앙상블을 통합하여, 특히 꼬리 레이블에서의 정확도와 강인성을 향상시킨다.

실험 결과

연구 질문

• RQ1 전역 저랭크 임베딩 대비 국소적 비선형 임베딩이 극단적 다중라벨 학습에서 희귀 레이블의 예측 정확도를 크게 향상시킬 수 있는가?
• RQ2 각 데이터 포인트에 대해 다수의 국소 임베딩을 학습하는 것이 단일 전역 임베딩보다 더 나은 일반화 및 확장성을 제공하는가?
• RQ3 제안된 방법이 높은 정확도와 동시에 빠른 추론을 달성할 수 있는가? 특히 FastXML과 같은 트리 기반 방법의 예측 속도를 능가하거나 뒤지지 않는가?
• RQ4 기존의 임베딩 방법이 계산 제약으로 인해 실패하는 상황에서, 백만 개의 레이블을 포함하는 매우 큰 레이블 세트에 대해 어떻게 확장되는가?
• RQ5 성능 향상의 원인은 국소 레이블 구조를 더 잘 모델링한 데 기인한 것인가, 아니면 다수의 국소 모델에 대한 앙상블 평균화 덕분인가?

주요 결과

• X1은 WikiLSHTC와 Delicious-Large와 같은 대규모 데이터셋에서 최신 임베딩 방법인 LEML보다 최대 35% 높은 P@1 정확도를 달성한다.
• 동일한 데이터셋에서 X1은 LEML 대비 P@5 정확도를 최대 22% 향상시켜 다양한 평가 지표에서 일관된 성능 향상을 보였다.
• X1은 라벨 기반의 선도적 방법인 FastXML보다 P@1과 P@5에서 각각 6% 높은 성능을 보이며, 국소 임베딩이 트리 앙상블을 능가할 수 있음을 보여주었다.
• WikiLSHTC에서 X1은 테스트 포인트당 예측 시간을 8ms로 줄여 LEML의 279ms 대비 300배 빠르게 하여 실시간 응용에 적합한 성능을 확보했다.
• 단일 X1 학습기조차도 10개의 LocalLEML 학습기 앙상블보다 뛰어난 성능을 보이며, X1의 국소 임베딩 학습 전략이 단순 클러스터링 기반 확장보다 열등하지 않음을 확인했다.
• 다양한 무작위 클러스터 초기화 설정에 따른 X1의 성능 변동은 매우 낮아, 고차원 레이블 공간에서의 방법의 안정성을 확인했다.