[논문 리뷰] The Quantum Version Of Classification Decision Tree Constructing Algorithm C5.0

Kamil Khadiev, Ilnaz Mannapov외 1명|arXiv (Cornell University)|2019. 07. 16.

Quantum Computing Algorithms and Architecture참고 문헌 22인용 수 18

한 줄 요약

이 논문은 앰플리튜드 증폭과 Dürr-Høyer 최소값 검색을 포함한 양자 서브루틴을 활용하여 속도 향상을 이룬 C5.0 의사결정 트리 알고리즘의 양자 강화 버전을 제안한다. 자가균형 임의의 이진 탐색 트리로 고전적 C5.0 알고리즘을 개선하고, 실행 시간이 $ O(hackslashackslashsqrtackslashackslash{d}ackslashackslashlogackslashackslash{d} \cdot N\backslashackslashlogackslashackslash{N}) $ 인 양자 버전(QC5.0)을 제시하여 속성 수에서 거의 제곱근 수준의 속도 향상을 달성한다.

ABSTRACT

In the paper, we focus on complexity of C5.0 algorithm for constructing decision tree classifier that is the models for the classification problem from machine learning. In classical case the decision tree is constructed in $O(hd(NM+N \log N))$ running time, where $M$ is a number of classes, $N$ is the size of a training data set, $d$ is a number of attributes of each element, $h$ is a tree height. Firstly, we improved the classical version, the running time of the new version is $O(h\cdot d\cdot N\log N)$. Secondly, we suggest a quantum version of this algorithm, which uses quantum subroutines like the amplitude amplification and the D{ü}rr-Høyer minimum search algorithms that are based on Grover's algorithm. The running time of the quantum algorithm is $O\big(h\cdot \sqrt{d}\log d \cdot N \log N\big)$ that is better than complexity of the classical algorithm.

연구 동기 및 목표

• 자기균형 임의의 이진 탐색 트리(예: AVL 또는 레드블랙 트리)를 사용하여 고전적 C5.0 알고리즘의 시간 복잡도를 낮추어 효율성을 향상시키는 것.
• 더 빠른 계산을 위해 양자 서브루틴을 활용하는 C5.0 알고리즘의 양자 버전을 개발하는 것.
• 대규모 분류 문제에 대한 의사결정 트리 구축에서 상당한 속도 향상을 달성하는 것.
• 양자 기계학습이 의사결정 트리 구축에 적용되었을 때의 실현 가능성과 성능 향상을 입증하는 것.

제안 방법

• 속성 값 추적과 정렬 오버헤드를 줄이기 위해 고전적 데이터 구조를 자기균형 임의의 이진 탐색 트리(예: AVL 또는 레드블랙 트리)로 대체하는 것.
• 의사결정 트리의 최적 분할 속성 선택을 가속화하기 위해 Dürr-Høyer 양자 알고리즘을 사용하는 것.
• 중첩 상태에서 최고의 정보 이득 비율을 찾는 확률을 향상시키기 위해 앰플리튜드 증폭을 적용하는 것.
• 양자 루틴이 속성 선택을 담당하고 고전적 논리가 트리 구축을 관리하는 하이브리드 고전-양자 프레임워크에 양자 서브루틴을 통합하는 것.
• 오류 확률을 줄이고 분할 선택의 신뢰성을 향상시키기 위해 양자 최대값 찾기 절차를 $ \log d $ 번 반복하는 것.
• 양자 알고리즘이 훈련 데이터에 블랙박스 오라클을 통해 액세스하는 쿼리 모델을 사용하며, 런타임을 쿼리 수로 측정하는 것.

실험 결과

연구 질문

• RQ1 자기균형 임의의 이진 탐색 트리를 사용하여 고전적 C5.0 알고리즘의 시간 복잡도를 낮출 수 있는가?
• RQ2 양자 알고리즘이 의사결정 트리 구축의 속성 선택 단계에 효과적으로 적용될 수 있는가?
• RQ3 양자 강화된 C5.0 알고리즘의 이론적 실행 시간 향상은 고전적 대안 대비 얼마나 되는가?
• RQ4 트리의 내부 노드 수에 따라 양자 속성 선택의 성공 확률은 어떻게 변화하는가?
• RQ5 양자 버전이 속성 수에서 거의 제곱근 수준의 속도 향상을 달성할 수 있는가?

주요 결과

• 자기균형 임의의 이진 탐색 트리를 사용한 개선된 고전적 C5.0 알고리즘은 $ O(h d N \log N) $ 의 실행 시간을 달성하여 중복 정렬 단계를 제거함으로써 원래 복잡도를 낮춘다.
• 양자 버전인 QC5.0은 $ O(h \sqrt{d} \log d \cdot N \log N) $ 의 실행 시간을 달성하여 속성 수 $ d $ 에서 거의 제곱근 수준의 속도 향상을 제공한다.
• QC5.0의 성공 확률은 $ O\big{(}(1 - \frac{1}{d})^k\big{)} $ 이며, 여기서 $ k $ 는 내부 노드 수를 의미하여 $ \log d $ 번 반복할 경우 높은 신뢰성을 확보함을 시사한다.
• 암폭 증폭과 Dürr-Høyer의 최소값 찾기 알고리즘을 조합하여 최적의 분할 속성을 효율적으로 식별함으로써 양자 속도 향상을 달성한다.
• 양자 서브루틴은 속성 선택 단계의 시간 복잡도를 $ O(d) $ 에서 $ O(\sqrt{d}) $ 로 줄여 대규모 데이터셋에서 전반적인 성능 향상을 이룬다.
• 이론적 분석은 QC5.0 이 고전적 C5.0 대비 상당한 점근적 향상을 제공함을 확인하며, 특히 고차원 데이터 환경에서 두드러진다.