[논문 리뷰] Hierarchical Multiclass Decompositions with Application to Authorship Determination

Ran El‐Yaniv, Noam Etzion-Rosenberg|arXiv (Cornell University)|2010. 10. 11.

Authorship Attribution and Profiling참고 문헌 20인용 수 4

한 줄 요약

이 논문은 다항 분류 문제를 계층적 다중분류 분해 방법으로 제안하며, 제논-샤논 발산 기반 베이즈 오차 경계를 사용하여 통계적으로 '쉬운' 이진 하위문제를 구성하는 탐욕 휴리스틱을 안내한다. 저자 결정 기준에서 평가한 결과, 클래스 수가 적을 경우 기존의 '모든 쌍 대비' 분해 방식을 능가하여 50명의 저자에 대해 최대 91%의 정확도를 달성하고, 100명의 저자에 대해서는 88%의 정확도를 기록하였다. SVM과 고주파수 토큰 쌍 특징을 사용하였다.

ABSTRACT

This paper is mainly concerned with the question of how to decompose multiclass classification problems into binary subproblems. We extend known Jensen-Shannon bounds on the Bayes risk of binary problems to hierarchical multiclass problems and use these bounds to develop a heuristic procedure for constructing hierarchical multiclass decomposition for multinomials. We test our method and compare it to the well known "all-pairs" decomposition. Our tests are performed using a new authorship determination benchmark test of machine learning authors. The new method consistently outperforms the all-pairs decomposition when the number of classes is small and breaks even on larger multiclass problems. Using both methods, the classification accuracy we achieve, using an SVM over a feature set consisting of both high frequency single tokens and high frequency token-pairs, appears to be exceptionally high compared to known results in authorship determination.

연구 동기 및 목표

• 통계적으로 최적인 방식으로 다중분류 문제를 이진 하위문제로 분해하는 데 도전하는 것.
• '일대다' 및 '모든 쌍 대비'와 같은 기존의 평면적 분해 방법을 개선하기 위해 계층적 구조를 도입하는 것.
• 정보 이론적 경계를 기반으로 한 베이즈 오차에 대한 경계를 사용해 효율적인 계층적 분해를 위한 휴리스틱을 개발하는 것.
• 새로운 고정확도 저자 결정 기준에서 방법을 실증적으로 평가하는 것.

제안 방법

• 제논-샤논 발산을 사용하여 계층적 다중분류 분해에 대한 베이즈 오차 상한 및 하한을 유도한다.
• 이 경계를 최적성 척도로 사용하여 계층적 이진 트리를 구성하는 탐욕 휴리스틱을 안내한다.
• 다항 분포에 대한 최대우도 추정을 사용하여 잠재적인 클래스 확률을 근사한다.
• 부드러운 신뢰도 기반 분류기와 경로-확률 디코딩 방법을 사용하여 가장 가능성 높은 리프 클래스를 선택한다.
• 상위 5000개의 단일 토큰과 고주파수 토큰 쌍을 사용하여 고차원 언어 통계를 포착하는 특징 집합을 구성한다.
• 분류에 대해 RBF 커널을 사용한 SVM과 3중 교차검증을 사용하며, 하이퍼파rameter는 교차검증을 통해 튜닝한다.

실험 결과

연구 질문

• RQ1 계층적 다중분류 분해가 분류 정확도 측면에서 '모든 쌍 대비'와 같은 평면적 분해 방법을 능가할 수 있는가?
• RQ2 베이즈 오차에 대한 정보 이론적 경계는 효과적인 계층적 이진 하위문제를 구성하는 데 어떻게 기여하는가?
• RQ3 클래스 수가 증가함에 따라 제안된 방법이 높은 성능을 유지하는가?
• RQ4 휴리스틱에 의해 생성된 최상의 계층적 트리가 항상 비대칭적인 구조를 보이는 이유는 무엇이며, 이는 휴리스틱의 약점인지 모델의 산물인가?
• RQ5 모든 쌍 대비의 O(k²) 복잡도에 비해 계층적 분해는 큰 다중분류 문제에 얼마나 잘 스케일링되는가?

주요 결과

• 계층적 분해 방법은 작은 다중분류 문제(k ≤ 20)에서 항상 '모든 쌍 대비' 방법을 능가하며, 더 높은 정확도를 달성한다.
• 50명의 저자에 대해 계층적 방법은 91%의 분류 정확도를 기록하여 저자 결정 분야에서 일반적으로 기대되는 결과를 크게 초월한다.
• 100명의 저자에 대해 계층적 방법은 88%의 정확도를 기록하여 다시 한번 알려진 기준을 능가한다.
• 클래스 수가 많아질수록(>10) 계층적 방법과 '모든 쌍 대비' 방법 간의 성능 격차는 줄어들며, 이 이상에서는 유의미한 차이가 관찰되지 않는다.
• 휴리스틱에 의해 생성된 최상의 계층적 트리는 항상 비대칭적인 구조를 보였으며, 이는 현재의 탐욕 휴리스틱에 잠재적인 제한 또는 편향이 있음을 시사한다.