[논문 리뷰] HiClass: a Python library for local hierarchical classification compatible with scikit-learn

Fábio Malcher Miranda, Niklas Köhnecke외 1명|arXiv (Cornell University)|2021. 12. 13.

Machine Learning in BioinformaticsBiochemistry, Genetics and Molecular Biology인용 수 21

한 줄 요약

HiClass는 로컬 계층 분류를 위한 scikit-learn 호환 파이썬 라이브러리로, 노드 수준, 부모 수준, 계층 수준 분류기와 계층적 메트릭을 지원합니다. 트리 또는 DAG 구조의 데이터에 대해 민첩한 훈련 정책을 사용하여 평탄한 접근 방식에 비해 계층 분류 작업에서 성능을 향상시킵니다.

ABSTRACT

HiClass is an open-source Python library for local hierarchical classification entirely compatible with scikit-learn. It contains implementations of the most common design patterns for hierarchical machine learning models found in the literature, that is, the local classifiers per node, per parent node and per level. Additionally, the package contains implementations of hierarchical metrics, which are more appropriate for evaluating classification performance on hierarchical data. The documentation includes installation and usage instructions, examples within tutorials and interactive notebooks, and a complete description of the API. HiClass is released under the simplified BSD license, encouraging its use in both academic and commercial environments. Source code and documentation are available at https://github.com/scikit-learn-contrib/hiclass.

연구 동기 및 목표

• 파이썬에서 로컬 계층 분류를 위한 통합된, scikit-learn 호환 프레임워크를 제공하기 위해.
• 다양한 설계 패턴 지원: 각 노드별, 부모 노드별, 계층별 로컬 분류기.
• 계층적 정밀도, 재현율, F-스코어를 사용한 평가를 가능하게 하여 계층적 데이터에 더 적합한 평가를 제공하기 위해.
• 부분적인 계층 및 누락된 레이블을 허용한 훈련을 지원하여 실제 응용 사례의 적용 범위를 넓히기 위해.
• 사용자 정의 추정기 및 Ray 또는 Joblib를 이용한 병렬 훈련을 통해 확장성을 제공하기 위해.

제안 방법

• 기존 머신러닝 워크플로우 및 파ip라인과의 완전한 호환성을 확보하기 위해 scikit-learn의 BaseEstimator API를 사용합니다.
• 계층적 레이블을 n_samples × n_levels 형상의 구조화된 NumPy 배열로 표현하며, 누락된 레이블은 빈 문자열로 표시합니다.
• NetworkX를 사용하여 계층적 구조를 방향성 있는 사이클 없는 그래프(DAG)로 모델링하여 트리뿐 아니라 복잡한 계층도 지원합니다.
• 이중 분류기의 양성 및 음성 예제를 정의하기 위해 6종의 훈련 정책(예: Exclusive, Inclusive, Siblings)을 구현합니다.
• Ray 또는 Joblib를 사용한 병렬 훈련을 지원하며, 예측은 위에서 아래로 진행되어 일관성을 유지합니다.
• 계층적 메트릭: hP(정밀도), hR(재현율), hF(F-스코어)를 도입하며, 조상-자식 집합의 교차를 활용한 표준 메트릭의 확장으로 정의됩니다.

실험 결과

연구 질문

• RQ1 어떻게 하면 파이썬에서 scikit-learn 생태계와 완전히 호환되는 효율적인 계층 분류를 구현할 수 있을까?
• RQ2 로컬 계층 분류기의 가장 효과적인 훈련 정책는 무엇이며, 성능에 어떤 영향을 미치는가?
• RQ3 계층적 평가 메트릭은 평탄한 메트릭보다 계층적 데이터에서 더 의미 있는 성능 통찰을 제공할 수 있는가?
• RQ4 훈련 및 예측 과정에서 부분적으로 알려진 계층 또는 불완전한 계층은 어떻게 처리되는가?
• RQ5 HiClass는 단순한 트리 외에도 DAG를 포함한 다양한 계층적 구조를 얼마나 잘 지원할 수 있는가?

주요 결과

• HiClass는 노드별, 부모별, 계층별 로컬 분류기를 사용하여 계층적 데이터의 훈련과 예측을 가능하게 하며, 위에서 아래로의 일관된 예측을 통해 계층의 구조를 유지합니다.
• 양성 및 음성 예제를 정의하기 위해 6종의 별도 훈련 정책을 지원하여 모델 설계의 유연성을 제공합니다.
• 계층적 메트릭(hP, hR, hF)은 평탄한 메트릭보다 계층 분류 성능 평가에 더 적합한 것으로 입증되었습니다.
• Ray 또는 Joblib를 사용한 병렬 실행을 통해 훈련 속도를 향상시킬 수 있으며, 이중 및 다중 분류 로컬 분류기 모두 지원합니다.
• 외부 계층의 레이블 누락 또는 부분적인 계층도 지원하여, 데이터가 불완전한 실제 시나리오에서도 강건성을 확보합니다.
• HiClass는 단순화된 BSD 라이선스로 배포되어 학술 및 상업적 응용 분야에서 넓게 사용될 수 있습니다.