[논문 리뷰] Feature Ranking for Semi-supervised Learning

Matej Petković, Sašo Džeroski외 1명|arXiv (Cornell University)|2020. 08. 10.

Computational Drug Discovery Methods인용 수 5

한 줄 요약

이 논문은 트리 앙상블과 리리프 기반 알고리즘을 사용하여 분류, 회귀 및 구조적 출력 예측(다중 레이블, 계층적 다중 레이블, 다중 타겟 작업 포함)에 대한 준감독형 특성 순위를 제안한다. 실험 결과, 대부분의 벤치마크 데이터셋에서 레이블이 지정되지 않은 데이터를 통합할 경우 특성 순위 성능이 향상됨을 보여주며, 랜덤 포레스트가 가장 효율적임과 동시에 준감독형 순위가 대부분의 경우 감독형 순위를 능가함을 확인하였다.

ABSTRACT

The data made available for analysis are becoming more and more complex along several directions: high dimensionality, number of examples and the amount of labels per example. This poses a variety of challenges for the existing machine learning methods: coping with dataset with a large number of examples that are described in a high-dimensional space and not all examples have labels provided. For example, when investigating the toxicity of chemical compounds there are a lot of compounds available, that can be described with information rich high-dimensional representations, but not all of the compounds have information on their toxicity. To address these challenges, we propose semi-supervised learning of feature ranking. The feature rankings are learned in the context of classification and regression as well as in the context of structured output prediction (multi-label classification, hierarchical multi-label classification and multi-target regression). To the best of our knowledge, this is the first work that treats the task of feature ranking within the semi-supervised structured output prediction context. More specifically, we propose two approaches that are based on tree ensembles and the Relief family of algorithms. The extensive evaluation across 38 benchmark datasets reveals the following: Random Forests perform the best for the classification-like tasks, while for the regression-like tasks Extra-PCTs perform the best, Random Forests are the most efficient method considering induction times across all tasks, and semi-supervised feature rankings outperform their supervised counterpart across a majority of the datasets from the different tasks.

연구 동기 및 목표

• 기계 학습에서 고차원적이고 부분적으로 레이블이 지정된 데이터의 과제를 해결하기 위해 준감독형 특성 순위 방법을 개발한다.
• 다중 레이블, 계층적 다중 레이블, 다중 타겟 회귀를 포함한 구조적 출력 예측 작업으로 특성 순위를 확장한다.
• 순수하게 감독형 접근 방식과 비교할 때 레이블이 지정되지 않은 데이터가 특성 순위 성능 향상에 기여하는지 평가한다.
• 다양한 학습 작업에 걸쳐 다양한 앙상블 및 리리프 기반 방법의 효과성과 효율성을 비교한다.

제안 방법

• 트리 앙상블(랜덤 포레스트, 익스트라 트리, 배깅) 기반의 세 가지 스코링 함수(Genie3, Symbolic, 랜덤 포레스트 스코링)를 사용한 두 가지 준감독형 특성 순위 접근 방식을 제안한다. 또한 리리프 알고리즘의 회귀 변형 기반 방법을 제안한다.
• 리리프 가족 알고리즘의 기능을 확장하여 구조적 출력 예측 작업에 준감독 학습을 적용한다.
• 클러스터링 가설을 활용하여 레이블이 지정되지 않은 데이터를 활용하며, 데이터 클러스터가 목표 값 분포를 반영한다고 가정한다.
• 단일 타겟 및 다중 타겟 예측 작업(계층적 및 다중 레이블 출력 포함)을 통합적으로 처리할 수 있는 유일한 프레임워크를 구현한다.
• 모든 방법을 자바 기반의 Clus 시스템에서 구현하였으며, 최근접 이웃 연산은 파이썬의 scikit-learn을 사용하여 라플라스 스코어를 구현하였다.
• 5개의 작업(분류, 다중 레이블, 계층적 다중 레이블, 회귀, 다중 타겟 회귀)에 걸쳐 38개의 벤치마크 데이터셋을 사용하여 성능을 평가하였다.

실험 결과

연구 질문

• RQ1 분류 유형의 작업(분류, 다중 레이블, 계층적 다중 레이블 분류 포함)에서 랜덤 포레스트, 익스트라 트리, 배깅 중 어떤 앙상블 방법이 가장 높은 특성 순위 성능를 보이는가?
• RQ2 준감독형 특성 순위가 감독형 순위와 비교하여 성능과 일반화 능력 측면에서 어떻게 다른가?
• RQ3 구조적 출력 예측 작업에서 레이블이 지정되지 않은 데이터의 사용이 특성 순위 품질 향상에 기여하는가?
• RQ4 각 유형의 학습 작업(분류, 회귀, 다중 타겟 등)에 가장 적합한 특성 순위 알고리즘은 무엇인가?
• RQ5 다양한 준감독형 특성 순위 방법의 계산 효율성(유도 시간 기준)은 어떠한가?

주요 결과

• 랜덤 포레스트는 분류 유형의 작업(분류, 다중 레이블, 계층적 다중 레이블 분류)에서 다른 앙상블 방법보다 일관되게 뛰어난 성능을 보이며, 이러한 작업들에서 평균 순위가 가장 높았다.
• 회귀 유형의 작업(회귀 및 다중 타겟 회귀)에서는 익스트라-피티에스(Extra-PCTs)가 가장 뛰어난 성능를 보였으며, 이 경우 Symbolic 스코링 함수가 가장 뛰어난 성능를 기록하였다.
• 전반적으로 랜덤 포레스트가 가장 효율적인 방법이었으며, 모든 작업에서 가장 짧은 유도 시간을 기록하였다. 이어서 익스트라 트리, 배깅의 순서였다.
• 준감독형 특성 순위는 모든 5개의 작업에서 다수의 데이터셋에서 감독형 순위를 능가하였으며, 이는 레이블이 지정되지 않은 데이터가 특성 관련성 추정에 기여함을 시사한다.
• 리리프 기반 방법은 표준 분류 작업에서 가장 뛰어난 성능를 보였고, 제네3 기반 순위는 계층적 다중 레이블 분류 작업에서 최적의 성능를 기록하였다.
• 라플라스 스코어는 k-NN를 위한 최적화된 scikit-learn 구현 덕분에 유사한 계산 연산을 가진 리리프보다 빠른 유도 시간을 기록하였다.