[논문 리뷰] Fast Label Embeddings for Extremely Large Output Spaces

Paul Mineiro, Nikos Karampatziakis|arXiv (Cornell University)|2015. 03. 01.

Text and Document Classification Technologies참고 문헌 5인용 수 2

한 줄 요약

이 논문은 매우 큰 출력 공간에서 저차원 레이블 임베딩을 학습하기 위한 빠른 랜덤화 알고리즘인 Rembrandt를 제안한다. 이 알고리즘은 응답 행렬의 상위 특이벡터를 효율적으로 근사하기 위해 랜덤화 SVD를 활용한다. 이 방법은 난이도 높은 텍스트 분류 데이터셋에서 최신 기술 수준의 성능을 달성하며, 단순한 접근 방식에 비해 지수적 속도 향상을 이룬다.

ABSTRACT

Many modern multiclass and multilabel problems are characterized by increasingly large output spaces. For these problems, label embeddings have been shown to be a useful primitive that can improve computational and statistical efficiency. In this work we utilize a correspondence between rank constrained estimation and low dimensional label embeddings that uncovers a fast label embedding algorithm which works in both the multiclass and multilabel settings. The result is a randomized algorithm whose running time is exponentially faster than naive algorithms. We demonstrate our techniques on two large-scale public datasets, from the Large Scale Hierarchical Text Challenge and the Open Directory Project, where we obtain state of the art results. 1 Contributions We provide a statistical motivation for label embedding by demonstrating that the optimal rank-constrained least squares estimator can be constructed from an optimal unconstrained estimator of an embedding of the labels. Thus, embedding can provide beneficial sample complexity reduction even if computational constraints are not binding. We identify a natural object to define label similarity: the expected outer product of the conditional label probabilities. In particular, in conjunction with a low-rank constraint, this indicates two label embeddings are similar when their conditional probabilities are linearly dependent across the dataset. This unifies prior work utilizing the confusion matrix for multiclass [1] and the empirical label covariance for multilabel [5]. We apply techniques from randomized linear algebra [3] to develop an efficient and scalable algorithm for constructing the embeddings, essentially via a novel randomized algorithm. Intuitively, this technique implicitly decomposes the prediction matrix of a model which would be prohibitively expensive to form explicitly. 2 Proposed Algorithm Our proposal is Rembrandt, described in Algorithm 1. We use the top right singular space of ΠX,LY as a label embedding, or equivalently, the top principal components of Y ΠX,LY . Using randomized techniques, we can Algorithm 1 Rembrandt: Response EMBedding via RANDomized Techniques 1: function REMBRANDT(k,X ∈ Rn×d, Y ∈ Rn×c) 2: (p, q)← (20, 1) . These hyperparameters rarely need adjustment. 3: Q← randn(c, k + p) 4: for i ∈ {1, . . . , q} do . Randomized range finder for Y ΠX,LY 5: Z ← arg min ‖Y Q−XZ‖F 6: Q← orthogonalize(Y >XZ) 7: end for . NB: total of (q + 1) data passes, including next line 8: F ← (Y >XQ)>(Y >XQ) . F ∈ R(k+p)×(k+p) is “small” 9: (V,Σ)← eig(F, k) 10: V ← QV . V ∈ Rc×k is the embedding 11: return (V,Σ) 12: end function

연구 동기 및 목표

• 매우 큰 출력 공간에서 다중분류 및 다중레이블 학습의 계산 및 통계적 비효율성을 해결하기 위해.
• 질의 제약 조건이 있는 추정치와 최적의 레이블 임베딩 간의 연결을 통해 레이블 임베딩에 통계적으로 타당한 기반을 제공하기 위해.
• 혼동 행렬과 레이블 공분산에 기반한 이전 접근 방식을 조건부 레이블 확률의 기대 외적 곱을 통한 공통된 레이블 유사도 개념을 통해 통합하기 위해.
• 큰 예측 행렬을 명시적으로 구성하지 않고도 확장 가능한 랜덤화 알고리즘을 개발하기 위해.
• 최소한의 하이퍼파rameter 조정으로 실제 대규모 데이터셋에서 최신 기술 수준의 성능을 입증하기 위해.

제안 방법

• 행렬 ΠX,LY(조건부 레이블 확률의 기대값을 나타냄)의 상위 우측 특이 공간을 근사하기 위해 랜덤화 범위 찾기 기법을 사용한다.
• 전체 응답 행렬을 명시적으로 계산하지 않도록 하여 지수적 속도 향상을 달성하기 위해 랜덤화 SVD 기법을 적용한다.
• 수치적 안정성을 유지하기 위해 직교화를 사용하면서, YΠX,LY의 주요 특이 부분공간을 추정하기 위해 랜덤화 부분공간 반복을 q회 수행한다.
• 상위 k개의 특이벡터를 고유분해를 통해 계산하기 위해 작은 행렬 F = (YᵀXQ)ᵀ(YᵀXQ)를 구성한다.
• 최종 레이블 임베딩 V ∈ ℝ^(c×k)는 기저 Q를 F의 주요 성분에 투영하여 얻는다.
• 이 방법은 자료를 총 (q+1)번만 순회하므로, 대규모 학습에 매우 효율적이다.

실험 결과

연구 질문

• RQ1 랜덤화 알고리즘이 명시적인 큰 응답 행렬 계산을 피하면서도 통계적 정확도를 손상시키지 않고 레이블 임베딩 학습에서 지수적 속도 향상을 달성할 수 있는가?
• RQ2 다중분류 및 다중레이블 설정을 모두 일반화하는 통일된 통계적 해석의 레이블 유사도 개념이 존재하는가?
• RQ3 계산 제약 조건이 존재하지 않을 때조차도 저랭크 레이블 임베딩이 표본 복잡도를 줄일 수 있는가?
• RQ4 조건부 레이블 확률의 기대 외적 곱이 레이블 유사도의 자연스러운 측정 기준이 될 수 있는가?
• RQ5 랜덤화 선형 대수 기법을 사용해 명시적인 구축 없이 큰 예측 행렬을 암묵적으로 분해할 수 있는 정도는 어느 정도인가?

주요 결과

• 제안된 Rembrandt 알고리즘은 대규모 계층적 텍스트 도전 대회 및 오픈 디렉터리 프로젝트 데이터셋에서 최신 기술 수준의 성능을 달성한다.
• 큰 응답 행렬을 명시적으로 계산하지 않기 때문에, 단순한 레이블 임베딩 알고리즘보다 지수적으로 빠르게 실행된다.
• 최적의 랭크 제약 최소 제곱 추정기는 레이블의 임베딩에서 유도될 수 있으며, 계산적 이점 외에도 레이블 임베딩의 통계적 정당성을 제공한다.
• 레이블 유사도는 조건부 레이블 확률 간 선형 종속성에 의해 자연스럽게 정의되며, 혼동 행렬과 레이블 공분산에 기반한 이전 접근 방식을 통합한다.
• 알고리즘은 최소한의 하이퍼파rameter 조정이 필요하며, (p,q) = (20,1) 조합이 실험 전반에서 강인하다.
• 랜덤화 SVD의 사용은 오직 (q+1)번의 데이터 순회로만 이루어져도 레이블 임베딩 계산을 확장 가능하게 하며, 시간 복잡도를 크게 감소시킨다.