[논문 리뷰] LdSM: Logarithm-depth Streaming Multi-label Decision Trees

Maryam Majzoubi, Anna Choromanska|arXiv (Cornell University)|2019. 05. 24.

Machine Learning and Data Classification참고 문헌 30인용 수 7

한 줄 요약

LdSM는 균형 잡히고 순수하며 효율적인 데이터 분할을 보장하기 위해 새로운 목적 함수를 최적화하는 스트리밍, 로그 깊이 다중 레이블 결정 트리 알고리즘을 제안한다. 다방향 예측 라우팅을 허용하면서도 과도한 성장을 방지하기 위한 페널티를 도입함으로써, LdSM는 벤치마크 데이터셋에서 최신 기술 수준의 정확도와 낮은 추론 시간을 달성하여 기존의 트리 기반 및 비트리 기반 방법보다 정밀도와 nDCG 점수에서 뛰어난 성능을 발휘한다.

ABSTRACT

We consider multi-label classification where the goal is to annotate each data point with the most relevant $ extit{subset}$ of labels from an extremely large label set. Efficient annotation can be achieved with balanced tree predictors, i.e. trees with logarithmic-depth in the label complexity, whose leaves correspond to labels. Designing prediction mechanism with such trees for real data applications is non-trivial as it needs to accommodate sending examples to multiple leaves while at the same time sustain high prediction accuracy. In this paper we develop the LdSM algorithm for the construction and training of multi-label decision trees, where in every node of the tree we optimize a novel objective function that favors balanced splits, maintains high class purity of children nodes, and allows sending examples to multiple directions but with a penalty that prevents tree over-growth. Each node of the tree is trained once the previous node is completed leading to a streaming approach for training. We analyze the proposed objective theoretically and show that minimizing it leads to pure and balanced data splits. Furthermore, we show a boosting theorem that captures its connection to the multi-label classification error. Experimental results on benchmark data sets demonstrate that our approach achieves high prediction accuracy and low prediction time and position LdSM as a competitive tool among existing state-of-the-art approaches.

연구 동기 및 목표

• 기존의 one-against-all 방법이 비현실적이게 되는 매우 큰 레이블 집합에서의 효율적인 다중 레이블 분류 문제를 해결하기 위해.
• 빠른 예측을 보장하기 위해 로그 깊이를 갖춘 트리 기반 예측기 설계를 통해 균형 잡히고 순수한 분할을 유지함으로써 높은 정확도를 유도하기 위해.
• 한 노드씩 순차적으로 학습하는 스트리밍 학습 메커니즘을 개발하여 대규모 데이터에 대한 확장성을 확보하기 위해.
• 레이블 순수도, 균형 잡힌 분할, 트리 노드 내 다중 지점 라우팅을 동시에 최적화하는 새로운 목적 함수를 도입하기 위해.
• 목적 함수가 다중 레이블 분류 오차와 어떻게 연결되는지 이론적으로 정당화하고, 오차 감소의 단조성과 부스팅 유사 수렴 보장을 보여주기 위해.

제안 방법

• LdSM 알고리즘은 각 노드가 새로운 목적 함수를 사용하는 다중 레이블 결정 트리를 구성하며, 이 목적 함수는 특성 공간과 레이블 공간 양쪽에서 데이터 분할을 균형 있게 조정한다.
• 목적 함수는 자식 노드에서의 높은 클래스 순수도를 촉진하고, 트리의 과도한 성장을 방지하기 위해 예측의 다중 지점 할당에 명시적인 페널티를 부여한다.
• 균형 잡힌 분할을 강제하기 위해 균형 조절 항목을 통합하여 로그 깊이를 확보하고 빠른 예측을 가능하게 한다.
• 알고리즘은 이전 노드가 완료된 후 한 번에 한 노드씩 순차적으로 학습하는 스트리밍 방식을 사용한다.
• 각 노드에서 다수의 회귀 모델을 사용하여 예측을 다수의 자식 노드로 라우팅할 수 있도록 하며, 라우팅의 다중성 제어를 위한 페널티 항목을 포함한다.
• 이론적 분석을 통해 목적 함수의 최소화가 순수도와 균형 잡힘을 별개로 향상시키고, 다중 레이블 분류에서 단조적 오차 감소를 이끌어낸다.

실험 결과

연구 질문

• RQ1 균형 잡히고 순수하며 다방향 분할을 강제함으로써 트리 기반 다중 레이블 분류기가 높은 정확도와 낮은 예측 시간을 달성할 수 있는가?
• RQ2 레이블 순수도, 균형 잡힘, 다중 지점 라우팅을 동시에 최적화하는 새로운 목적 함수가 더 나은 일반화와 오차 감소를 이끌어내는가?
• RQ3 다중 레이블 결정 트리에 대한 스트리밍 학습 접근법이 큰 레이블 집합에 대응하면서도 높은 성능을 유지할 수 있는가?
• RQ4 제안된 목적 함수와 다중 레이블 분류 오차 사이의 이론적 연결 고리는 무엇이며, 이는 단조적 오차 감소를 보장하는가?
• RQ5 다양한 벤치마크 데이터셋에서 FastXML, PFastreXML, Parabel과 같은 최신 기술 수준의 방법들과 비교해 LdSM의 정밀도와 nDCG 성능은 어떠한가?

주요 결과

• Bibtex 데이터셋에서 LdSM는 93.87의 P@1 점수를 기록하여 FastXML(93.11)과 Parabel(93.03)을 앞서며 최고 성능을 달성했다.
• Wiki10-31k 데이터셋에서 LdSM는 P@1 83.74와 N@1 83.74를 기록하여 FastXML(83.03 및 83.03)과 PFastreXML(83.57 및 83.57)을 초월했다.
• Delicious-200k에서 LdSM는 P@1 45.26을 기록하여 FastXML(43.07)과 PFastreXML(41.72)를 앞서며 장꼬리 레이블 분포에서도 뛰어난 성능을 보였다.
• Amazon-670k에서 LdSM는 P@1 42.63을 기록하여 SLEEC(35.05)와 FastXML(36.99)를 크게 앞서며 극단적인 다중 레이블 환경에서도 뛰어난 견고성을 입증했다.
• 제거 실험을 통해 제안된 목적 함수가 각 분할 단계에서 단조적 오차 감소를 이끌어내며 이론적 부스팅 정리의 타당성을 입증했다.
• 시각화 결과 LdSM는 다양한 트리 깊이와 노드 수에서 높은 정밀도와 nDCG를 유지함으로써 안정적이고 확장 가능한 성능을 보였다.