[논문 리뷰] Logarithmic Time Online Multiclass prediction

Anna Choromanska, John Langford|arXiv (Cornell University)|2014. 06. 06.

Machine Learning and Algorithms참고 문헌 28인용 수 47

한 줄 요약

이 논문은 매우 많은 클래스 수를 가진 다중분류 문제를 위한 온라인 알고리즘인 LOMtree를 제안한다. LOMtree는 동적으로 최적화된 결정트리를 구성함으로써 학습 및 추론 시의 시간 복잡도를 로그 수준으로 낮춘다. 이 방법은 각 노드에서 균형 잡히고 순수한 분할을 만들어내는 새로운 목적 함수를 사용하여, 존재하는 로그 시간 복잡도 방법들보다 빠른 수렴 속도와 뛰어난 성능을 달성한다. 특히 클래스 수가 증가할수록 그 성능이 두드러진다.

ABSTRACT

We study the problem of multiclass classification with an extremely large number of classes (k), with the goal of obtaining train and test time complexity logarithmic in the number of classes. We develop top-down tree construction approaches for constructing logarithmic depth trees. On the theoretical front, we formulate a new objective function, which is optimized at each node of the tree and creates dynamic partitions of the data which are both pure (in terms of class labels) and balanced. We demonstrate that under favorable conditions, we can construct logarithmic depth trees that have leaves with low label entropy. However, the objective function at the nodes is challenging to optimize computationally. We address the empirical problem with a new online decision tree construction procedure. Experiments demonstrate that this online algorithm quickly achieves improvement in test error compared to more common logarithmic training time approaches, which makes it a plausible method in computationally constrained large-k applications.

연구 동기 및 목표

• 클래스 수 $k$가 매우 클 경우, 표준 방법 중 하나인 one-against-all (OAA)이 $\mathcal{O}(k)$의 복잡도를 보이는 계산적 병목 현상을 해결한다.
• 학습 및 추론 시간 복잡도를 모두 $O(\log k)$로 달성함으로써, worst case 기준으로 정보 이론적으로 최적임을 확보한다.
• 사전에 정의된 또는 무작위로 나누어진 분할에 의존하지 않고, 온라인 최적화를 통해 레이블의 계층적 구조를 동적으로 학습하는 방법을 개발한다.
• 기울기 기반 방법으로는 쉽게 최적화하기 어려운 비凸성이고 이산적인 분할 목적 함수를 극복한다.
• 이론적 보장과 실제 다중분류 데이터셋에서의 경험적 성능 사이의 균형을 잡은 실용적인 온라인 알고리즘을 설계한다.

제안 방법

• 결정트리의 노드 분할을 위한 새로운 목적 함수를 제안하여, 레이블 순수성과 균형을 동시에 확보함으로써, 낮은 엔트로피를 가진 로그 깊이의 트리를 보장한다.
• 위상에서 아래로, 온라인 결정트리 구축 절차를 사용하여 계층을 구축하며, 각 노드의 분할은 분할 목적 함수의 미분 가능 근사에 기반한 기울기 하강법으로 최적화된다.
• 선형 회귀기의 온라인 기울기 하강법을 적용하여, 최소한의 메모리 및 계산 오버헤드로 효율적인 점진적 학습을 가능하게 한다.
• 트리 깊이와 스왑에 대한 저항성 기반의 정지 기준을 도입하여 복잡도를 제어하고 트리 확장 중 과적합을 방지한다.
• 데이터 분포에 따라 동적으로 분할을 조정하면서도 로그 깊이를 유지하도록 트리 구축을 제약함으로써, 고정되거나 무작위로 정의된 레이블 계층을 피한다.
• 검증 오차 기반의 프루닝 및 조기 정지 메커니즘을 구현하여 최적의 초모수(학습률, 반복 횟수, 정지 임계값)를 선택한다.

실험 결과

연구 질문

• RQ1 이론적으로 타당한 목적 함수를 통해 동적으로 균형 잡히고 순수한 레이블 분할을 실현하고 최적화할 수 있는가? 이는 $O(\log k)$의 학습 및 테스트 시간을 달성할 수 있는가?
• RQ2 이 목적 함수에 기반한 온라인 트리 구축 알고리즘의 성능은 OAA, Rtree, Filter tree와 같은 기준 방법들에 비해 정확도와 속도 면에서 어떻게 비교되는가?
• RQ3 대규모 다중분류 문제에서 $O(\log k)$-시간 방법들과 $O(k)$-시간 기반의 OAA 기준선 간의 테스트 오차 격차를 얼마나 줄일 수 있는가?
• RQ4 비凸성이고 이산적인 분할 목적 함수에 기반한 기울기 기반 최적화를 온라인 학습과 함께 사용할 경우, 실질적으로 안정적이고 효과적인 트리 구조를 도출할 수 있는가?
• RQ5 특히 OAA가 비가역적인 경우가 많은 페타바이트 규모의 데이터셋인 ImageNet과 ODP에서, $k$가 증가함에 따라 이 방법은 어떻게 스케일링되는가?

주요 결과

• Aloi 데이터셋에서 LOMtree는 OAA 대비 학습 시간을 12.8배 빠르게 하고, 예측 시간은 5.5배 향상시켰다.
• ImageNet과 ODP에서 LOMtree는 OAA 대비 예측 시간을 각각 403.8배, 4038.5배 빠르게 하였으며, 학습 시 OAA는 비가역적이었음에도 불구하고 성능을 확보했다.
• 모든 데이터셋에서 LOMtree는 모든 로그 시간 복잡도 방법 중에서 가장 낮은 테스트 오차를 기록했으며, Rtree와 Filter tree를 능가했다. Isolet에서는 6.36%의 오차를 기록했고, Filter tree는 15.10%였다.
• ImageNet과 ODP와 같은 고노이즈 데이터셋에서도 LOMtree는 Filter tree(90.17% 대비 92.12%)를 앞서나갔다. 다만 격차는 작아져 노이즈 하에서의 강건성을 시사한다.
• 특히 $k$가 증가할수록 OAA 및 기타 로그 시간 기반 기준선 대비 테스트 오차 감소 속도가 더 빠르게 수렴한다.
• LOMtree는 다양한 데이터셋에서 안정적인 성능을 보였으며, 신뢰구간을 통해 Rtree와 Filter tree를 일관되게 능가했고, 가능할 경우 OAA와도 경쟁력을 확보했다.