[논문 리뷰] Manifoldron: Direct Space Partition via Manifold Discovery

Dayang Wang, Fenglei Fan외 7명|arXiv (Cornell University)|2022. 01. 14.

Topological and Geometric Data Analysis인용 수 4

한 줄 요약

Manifoldron은 데라운이 삼각형화, 단체 자르기 및 봉우리 탐지 등을 통해 데이터의 기저 만델라를 발견함으로써 입력 공간을 직접 분할하는 비파rametric 기반의 머신러닝 모델을 소개한다. 이 모델은 분류 및 회귀 과제에서 경쟁적인 성능을 기록하며, 특히 저차원 및 구조화된 데이터 환경에서 주류 모델인 MLP 및 SVM와 비교해도 뒤지지 않거나 그 이상의 성능을 보인다.

ABSTRACT

A neural network with the widely-used ReLU activation has been shown to partition the sample space into many convex polytopes for prediction. However, the parameterized way a neural network and other machine learning models use to partition the space has imperfections, extit{e}. extit{g}., the compromised interpretability for complex models, the inflexibility in decision boundary construction due to the generic character of the model, and the risk of being trapped into shortcut solutions. In contrast, although the non-parameterized models can adorably avoid or downplay these issues, they are usually insufficiently powerful either due to over-simplification or the failure to accommodate the manifold structures of data. In this context, we first propose a new type of machine learning models referred to as Manifoldron that directly derives decision boundaries from data and partitions the space via manifold structure discovery. Then, we systematically analyze the key characteristics of the Manifoldron such as manifold characterization capability and its link to neural networks. The experimental results on 4 synthetic examples, 20 public benchmark datasets, and 1 real-world application demonstrate that the proposed Manifoldron performs competitively compared to the mainstream machine learning models. We have shared our code in \url{https://github.com/wdayang/Manifoldron} for free download and evaluation.

연구 동기 및 목표

• 딥 뉴럴 네트워크와 같은 파라미터 기반 모델이 고정된 결정 경계 형태에 의존하고 대규모에서의 해석이 어려운 문제를 해결하기 위해.
• k-NN, 나이브 베이즈와 같은 비파라미터 모델이 과도한 단순화 또는 내재된 데이터 만델라를 모델링하지 못함으로써 표현력이 떨어지는 문제를 극복하기 위해.
• 데이터의 구조에서 직접 결정 경계를 유도하는 새로운 모델 클래스를 개발하여, 만델라 인식 기반의 공간 분할을 통해 동시에 해석 가능성과 강력한 일반화 성능을 확보하기 위해.
• 뉴럴 네트워크와 기하학적 공간 분할 간의 개념적 격차를 메우기 위해, 둘 다 공간을 다면체로 분할하지만 Manifoldron은 이를 명시적이고 비파arametric 방식으로 수행함을 보여주기 위해.

제안 방법

• 각 클래스의 학습 데이터에 대해 데라운이 삼각형화를 적용하여 데이터 만델라의 초기 기하 메쉬를 생성한다.
• k-최근접 이웃(k-NN) 전략을 사용해 단체 자르기를 수행하여 잡음이나 이상치에 영향을 받은 단체를 제거하고, 밀도가 높고 진짜 만델라 봉우리를 형성하는 단체만 유지한다.
• 각 클래스의 정제된 단체의 외부 봉우리를 결정 경계로 구성하여, 포함 여부 검사 및 거리 추정을 통한 분류를 가능하게 한다.
• 쿼리 포인트에 가까운 단체들에 대한 가중 평균을 사용하여 정제된 메쉬 기반으로 회귀 문제에 확장한다.
• 학습 및 추론 중 계산 비용을 줄이기 위해 특징 백킹과 포인트 투 포인트 투영을 병렬 처리와 함께 도입한다.
• 정제 및 추론 과정에서 이웃 검색을 효율적으로 수행하기 위해 KD-트리를 활용하여 중간 크기의 데이터셋까지의 확장성을 향상시킨다.

Figure 1 : (a) The pipeline of the proposed Manifoldron. In the training stage, Delaunay triangulation, simplex trimming, and envelope detection are sequentially performed to identify the manifold structure of data and establish decision boundaries. In the test stage, we classify new points based on

실험 결과

연구 질문

• RQ1 기존의 파라미터화된 함수 근사 방식을 생략하고 데이터의 내재된 만델라 구조에서 직접 결정 경계를 도출할 수 있는 머신러닝 모델이 가능한가?
• RQ2 이러한 만델라 기반 모델의 정확도 및 효율성은 MLP, SVM, 랜덤 포레스트와 같은 주류 파라미터 기반 모델과 비교해 어떻게 되는가?
• RQ3 Manifoldron은 복잡한 비선형 데이터 만델라를 얼마나 잘 포괄할 수 있으며, 해석 가능성과 강건성 유지 능력은 어떠한가?
• RQ4 ReLU 기반 뉴럴 네트워크와 비교했을 때, Manifoldron의 공간 분할 메커니즘은 다면체 분할 측면에서 어떤 관계를 맺는가?
• RQ5 Manifoldron의 성능는 단체 정제에 사용되는 이웃 수와 같은 하이퍼파rameter에 얼마나 민감한가? 이 민감성은 향후 강건성 향상에 대비해 완화될 수 있는가?

주요 결과

• 20개의 공개 벤치마크 데이터셋에서 Manifoldron은 MLP, SVM, XGBoost와 같은 최신 기술 모델과 비교해 성능이 동등하거나 뛰어나며, 특히 저차원 및 구조화된 데이터에서 두각을 나타냈다.
• 6개의 기본 함수에 대한 회귀 과제에서 Manifoldron은 6개 함수 중 4개에서 가장 낮은 평균 제곱오차(MSE)를 기록했으며, $f_2$에서 최고의 MSE 0.006을 기록해 KNNR 및 GPR를 능가했다.
• 실세계 생물학적 데이터셋(유전자 발현 프로파일링)에서 강력한 일반화 성능을 입증하여, 합성 및 벤치마크 과제를 넘어서 실용적 활용 가능성을 보였다.
• Manifoldron은 $f_1$(0.101) 및 $f_3$(0.095)에서 가장 낮은 MSE를 기록했고, $f_4$(0.975)에서는 MLP에 이어 두 번째로 우수한 성능을 보여, 뛰어난 피팅 능력을 입증했다.
• 비파라미터 모델임에도 불구하고 특징 백킹과 병렬 처리 계산 덕분에 수만 건의 샘플과 수백 개의 특징을 가진 데이터셋에서도 수용 가능한 추론 시간을 확보했다.
• 모델의 성능는 정제 과정에서 사용되는 이웃 수에 민감함을 보였으며, 이는 향후 강건성 향상에 있어 핵심 하이퍼파라미터 도전 과제임을 시사했다.

Figure 2 : The scheme of proving the universal boundary approximation theorem.