[논문 리뷰] Rough extreme learning machine: a new classification method based on uncertainty measure

Lin Feng, Shuliang Xu외 2명|arXiv (Cornell University)|2017. 10. 30.

Machine Learning and ELM참고 문헌 41인용 수 3

한 줄 요약

이 논문은 근사집합 이론을 극단적 학습기계(ELM)와 융합하여 정확도를 향상시키고 고차원 데이터를 처리할 수 있도록 하는 새로운 분류 방법인 난이도 극단적 학습기계(RELM)를 제안한다. RELM은 근사집합을 사용해 데이터를 상한근사집합과 하한근사집합으로 분할하고, 각 집합에 대해 별도의 신경망을 학습하며, 중복된 특징을 제거하기 위해 특성 감소 기법을 적용하여 기존 ELM 및 관련 모델 대비 뛰어난 정확도와 안정성을 확보하면서도 빠른 학습 속도를 유지한다.

ABSTRACT

Extreme learning machine (ELM) is a new single hidden layer feedback neural network. The weights of the input layer and the biases of neurons in hidden layer are randomly generated, the weights of the output layer can be analytically determined. ELM has been achieved good results for a large number of classification tasks. In this paper, a new extreme learning machine called rough extreme learning machine (RELM) was proposed. RELM uses rough set to divide data into upper approximation set and lower approximation set, and the two approximation sets are utilized to train upper approximation neurons and lower approximation neurons. In addition, an attribute reduction is executed in this algorithm to remove redundant attributes. The experimental results showed, comparing with the comparison algorithms, RELM can get a better accuracy and repeatability in most cases, RELM can not only maintain the advantages of fast speed, but also effectively cope with the classification task for high-dimensional data.

연구 동기 및 목표

• 소음이 많고 고차원적인 데이터를 처리하는 데 있어 기존 ELM의 한계를 보완하기 위해 불확실성 모델링을 통합한다.
• 근사집합 이론을 활용해 데이터 근사화와 특성 감소를 통해 분류 정확도와 일반화 능력을 향상시킨다.
• 중복되거나 관련성이 없는 특징에 대해 강건성을 향상시키면서도 ELM의 빠른 학습 속도를 유지한다.
• 다양한 데이터셋에서 RELM의 성능을 평가하고 기존 ELM 변종 및 기준 방법과 비교한다.

제안 방법

• RELM은 의사결정 규칙에 기반해 훈련 데이터를 상한근사집합과 하한근사집합으로 근사집합 이론을 사용해 분할한다.
• 각 근사집합에 대해 별도의 은닉층 뉴런—상한근사집합 뉴런과 하한근사집합 뉴런—을 학습시킨다.
• 모라-펜로즈 역행렬을 사용해 출력 가중치를 해석적으로 결정함으로써 ELM의 빠른 학습 성질을 유지한다.
• 중복된 특징을 제거하기 위해 특성 감소 기법을 적용하여 모델의 효율성을 향상시키고 과적합을 줄인다.
• 최종 분류 결정은 상한근사집합 뉴런과 하한근사집합 뉴런의 출력을 조합하여 내림받는다.
• 표준 ELM 및 URELM(Uncertainty-based RELM)이라는 변종과의 비교를 통해 성능을 평가한다.

Fig. 1: Rough set diagrammatic sketch

실험 결과

연구 질문

• RQ1 RELM에 근사집합 이론을 통합함으로써 고차원적이고 노이즈가 많은 데이터셋에서 분류 정확도와 강건성을 향상시킬 수 있는가?
• RQ2 표준 ELM 및 기타 ELM 변종 대비 RELM의 정확도와 안정성 측면에서의 성능은 어떠한가?
• RQ3 RELM에서의 특성 감소가 분류 성능을 떨어뜨리지 않으면서 차원을 얼마나 줄일 수 있는가?
• RQ4 기존 ELM 및 RS+BP와 비교했을 때 RELM의 시간 복잡도는 데이터 차원 증가에 얼마나 민감한가?

주요 결과

• RELM은 14개의 벤치마크 데이터셋에서 URELM 및 표준 ELM보다 높은 평균 정확도를 기록했으며, adult 데이터셋에서는 평균 정확도 0.7563 ± 0.0233, hepatitis 데이터셋에서는 0.7885 ± 0.0395를 달성했다.
• STAGGER 데이터셋에서는 완벽한 정확도(1.0000 ± 0.0000)를 기록했고, URELM(0.9886 ± 0.0302)를 능가했다.
• 특성 감소 기법은 특징 차원을 크게 줄였다—예를 들어 말 데이터셋에서는 26개에서 3개로(88.46% 감소), 독일 데이터셋에서는 24개에서 7개로(70.83% 감소).
• RELM의 시간 오버헤드는 차원 증가에 따라 증가했지만 RS+BP보다 훨씬 낮아져 더 나은 확장성과 차원에 대한 낮은 민감도를 보였다.
• 효모 및 페미 데이터셋에서는 안정적인 성능(각각 0.6623 ± 0.1245 및 0.5659 ± 0.0974)을 유지했지만, URELM은 정확도가 낮고 분산이 더 컸다.
• 높은 성능에도 불구하고 일부 데이터셋(예: 말 데이터셋, 표준편차 0.1625)에서는 정확도 분산이 더 커 특정 조건에서의 불안정성을 보였다.

Fig. 2: The structure of RELM