[논문 리뷰] Simultaneous Learning of Trees and Representations for Extreme Classification and Density Estimation

Yacine Jernite, Anna Choromanska외 1명|arXiv (Cornell University)|2016. 10. 14.

Machine Learning and Data Classification참고 문헌 47인용 수 14

한 줄 요약

이 논문은 극단적 다중분류 및 조건부 밀도 추정에서 계층적 트리 구조와 데이터 표현을 동시에 학습하기 위한 새로운 알고리즘을 제안한다. SGD를 통해 균형 잡히고 분리 가능한 노드 분할 목적함수를 최적화함으로써, 텍스트 분류 및 언어 모델링 벤치마크에서 최신 기술(SOTA) 수준의 정확도와 효율성을 달성하며, FastText 및 히프만 트리와 같은 기존 기준 모델을 능가한다. 이는 엔드 투 엔드 표현 및 트리 학습을 가능하게 한다.

ABSTRACT

We consider multi-class classification where the predictor has a hierarchical structure that allows for a very large number of labels both at train and test time. The predictive power of such models can heavily depend on the structure of the tree, and although past work showed how to learn the tree structure, it expected that the feature vectors remained static. We provide a novel algorithm to simultaneously perform representation learning for the input data and learning of the hierarchi- cal predictor. Our approach optimizes an objec- tive function which favors balanced and easily- separable multi-way node partitions. We theoret- ically analyze this objective, showing that it gives rise to a boosting style property and a bound on classification error. We next show how to extend the algorithm to conditional density estimation. We empirically validate both variants of the al- gorithm on text classification and language mod- eling, respectively, and show that they compare favorably to common baselines in terms of accu- racy and running time.

연구 동기 및 목표

• 최적의 트리 구조가 아닌 하위 최적의 트리 구조로 인한 성능 저하 문제를 해결하기 위해.
• 표현을 고정하거나 히우리스틱에 의존하는 것 대신, 입력 표현과 계층적 트리 구조를 함께 엔드 투 엔드로 학습할 수 있도록 하기 위해.
• 고품질의 균형 잡히고 분리 가능한 트리 분할을 위한 데이터 기반의 효율적인 알고리즘 개발을 위해.
• 특히 언어 모델링을 위한 조건부 밀도 추정으로의 방법 확장에 대해 트리 구조 목적함수를 사용하기 위해.
• 강화 학습 스타일 성질과 분류 오차 경계를 통해 모델 정확도에 대한 이론적 보장을 제공하기 위해.

제안 방법

• 임의의 기수를 가진 트리에서 균형 잡히고 쉽게 분리 가능한 다방향 노드 분할을 선호하는 새로운 목적함수를 도입한다.
• 확률적 경사 하강법(SGD)을 사용해 목적함수를 최적화함으로써 트리 구조와 특징 표현을 함께 학습한다.
• 기울기 기반 선택에 기반해 자식 노드에 레이블을 탐욕적으로 할당하는 깊이 제약이 있는 레이블 할당 알고리즘(AssignLabels)을 활용한다.
• 추론 시에 절단된 깊이 우선 탐색을 사용해 가장 가능성 있는 레이블을 효율적으로 찾으며, 낮은 점수를 가진 하위 트리를 잘라낸다.
• 레이블에 대한 확률 분포를 트리 구조 목적함수로 모델링함으로써, 조건부 밀도 추정으로 프레임워크를 확장한다.
• 단어 임베딩을 계층적 소프트맥스를 통해 학습하고 클러스터 기반 레이블 할당을 사용함으로써 언어 모델링에 이 방법을 적용한다.

실험 결과

연구 질문

• RQ1 데이터 기반의 엔드 투 엔드 방법이 극단적 분류를 위한 최적의 트리 구조와 입력 표현을 동시에 학습시킬 수 있는가?
• RQ2 제안된 목적함수는 고정된 또는 히우리스틱 기반 트리보다 더 나은 일반화 성능과 낮은 분류 오차를 제공하는가?
• RQ3 동일한 프레임워크가 언어 모델링과 같은 조건부 밀도 추정으로 효과적으로 확장될 수 있는가?
• RQ4 기존 기준 모델 대비 학습 및 추론 시간 측면에서 알고리즘이 어떻게 확장되는가?
• RQ5 트리 깊이와 기수의 변화가 모델 정확도와 효율성에 어떤 영향을 미치는가?

주요 결과

• YFCC100M 데이터셋에서 기수 5인 학습된 트리가 d=20일 때 정밀도 32.1%를 기록했으며, FastText(27.2%)와 히프만 트리(28.3%)를 능가했고 추론 속도도 빠르게 기록했다.
• d=200일 때 학습된 트리는 정밀도 36.6%에 도달했으며, TagSpace(35.6%)와 FastText(35.2%)를 초월했고 낮은 테스트 시간을 유지했다.
• 언어 모델링에서 학습된 트리 기반 모델은 구트버그 코퍼스에서 경쟁력 있는 성능을 보이며, 밀도 추정의 효과성을 입증했다.
• d=200일 때 학습 시간은 45분으로 TagSpace의 15시간 대비 크게 향상되었으며, 빠른 학습 속도를 입증했다.
• 이론적 분석을 통해 강화 학습 스타일 성질과 분류 오차 경계를 확인함으로써 목적함수 설계의 타당성을 검증했다.
• 레이블 할당 알고리즘이 깊이 제약 하에 레이블을 성공적으로 할당했으며, 최종 트리에서 해석 가능한 클러스터(예: 제3인칭 동사, 과거 participle, 장소 등)가 도출되었다.