[論文レビュー] Manifoldron: Direct Space Partition via Manifold Discovery

Dayang Wang, Fenglei Fan+7 more|arXiv (Cornell University)|Jan 14, 2022

Topological and Geometric Data Analysis被引用数 4

ひとこと要約

Manifoldronは、デローニー三角形分割、単体のトリミング、エンベロープ検出を用いてデータ多様体を直接同定することで、入力空間を非パrameterizedな機械学習モデルとして直接分割する。分類および回帰タスクにおいて競争力ある性能を達成し、特に低次元かつ構造的データの設定において、MLP や SVM などの主流モデルを上回るか同等の性能を示す。

ABSTRACT

A neural network with the widely-used ReLU activation has been shown to partition the sample space into many convex polytopes for prediction. However, the parameterized way a neural network and other machine learning models use to partition the space has imperfections, extit{e}. extit{g}., the compromised interpretability for complex models, the inflexibility in decision boundary construction due to the generic character of the model, and the risk of being trapped into shortcut solutions. In contrast, although the non-parameterized models can adorably avoid or downplay these issues, they are usually insufficiently powerful either due to over-simplification or the failure to accommodate the manifold structures of data. In this context, we first propose a new type of machine learning models referred to as Manifoldron that directly derives decision boundaries from data and partitions the space via manifold structure discovery. Then, we systematically analyze the key characteristics of the Manifoldron such as manifold characterization capability and its link to neural networks. The experimental results on 4 synthetic examples, 20 public benchmark datasets, and 1 real-world application demonstrate that the proposed Manifoldron performs competitively compared to the mainstream machine learning models. We have shared our code in \url{https://github.com/wdayang/Manifoldron} for free download and evaluation.

研究の動機と目的

• 深層ニューラルネットワークなどのパrameterizedモデルが固定された意思決定境界の形に依存し、スケールが大きくなると解釈が困難であるという解釈可能性と硬直性の問題に対処する。
• k-NN やナイーブベイズなどの非パrameterizedモデルが、過剰に単純化されたり、データの内蔵多様体を正しくモデル化できないために表現力に欠けるという制限を克服する。
• 意思決定境界をデータ構造から直接導出する新しいモデルクラスを開発し、多様体に配慮した空間分割によって解釈可能性と強力な一般化性能を両立する。
• 深層ニューラルネットワークと幾何的空間分割の間の概念的ギャップを埋める。両者とも空間をポリトープに分割するが、Manifoldronは明示的かつ非パrameterizedにそれを実現する。

提案手法

• 各クラスの訓練データに対してデローニー三角形分割を適用し、データ多様体の初期幾何的メッシュを生成する。
• k-NN戦略を用いた単体のトリミングにより、不適切なまたは外れ値の影響を受ける単体を除去し、コン pact で真の多様体エンベロープを形成する単体のみを保持する。
• 各クラスのトリミング済み単体の外側エンベロープとして意思決定境界を構築し、入出力単体検出および距離推定による分類を可能にする。
• クエリポイントへの近接度に基づいて、最近接の単体の重み付き平均を用いることで、回帰タスクにフレームワークを拡張する。
• 計算コストを削減するため、トレーニングおよび推論中に特徴量のバッグイングとポイント・ツー・ポイントの投影を並列計算と組み合わせて導入する。
• トリミングおよび推論中の近隣探索を効率化するため、KDツリーを活用し、中程度サイズのデータセットへのスケーラビリティを向上させる。

Figure 1 : (a) The pipeline of the proposed Manifoldron. In the training stage, Delaunay triangulation, simplex trimming, and envelope detection are sequentially performed to identify the manifold structure of data and establish decision boundaries. In the test stage, we classify new points based on

実験結果

リサーチクエスチョン

• RQ1 機械学習モデルが、パrameterized関数近似を回避して、データの内在的多様体構造から直接意思決定境界を導出できるか？
• RQ2 このような多様体駆動型モデルの性能は、MLP や SVM やランダムフォレストなどの主流パrameterizedモデルと比較して、正確性および効率性の面でどう異なるか？
• RQ3 Manifoldronは、複雑な非線形データ多様体をどれほど正確に捉えられるか、かつ解釈可能性とロバストネスを維持できるか？
• RQ4 Manifoldronの空間分割メカニズムと、ReLUベースのニューラルネットワークとの関係、特にポリトープ的分割の観点から、どのような類似性や相違点があるか？
• RQ5 Manifoldronの性能は、トリミングに使用する近隣数といったハイパーパrameterにどれほど敏感か？また、その感受性は今後のロバストネス向上に向け、軽減可能か？

主な発見

• 20個の公開ベンチマークデータセットにおいて、ManifoldronはMLP や SVM や XGBoost などの最先端モデルと同等またはそれ以上の性能を示した。特に低次元かつ構造的データにおいて顕著な優位性を示した。
• 6つの基本関数における回帰タスクでは、6つの関数のうち4つで最小の平均二乗誤差（MSE）を達成し、$f_2$ では最小のMSE 0.006を記録。KNNR や GPR を上回った。
• 生物学的データセット（遺伝子発現プロファイル）という実世界のデータに対しても、強力な一般化性能を示し、合成データやベンチマークタスクを超えた実用的有用性を示した。
• MSE において $f_1$（0.101）と $f_3$（0.095）で最小値を記録し、$f_4$（0.975）ではMLPに次ぐ第二位の性能を示した。これは優れたフィッティング能力を示している。
• 非パrameterizedであるにもかかわらず、数万件のサンプルと数100の特徴量を持つデータセットにおいても、特徴量のバッグイングと並列計算のおかげで、妥当な推論時間を達成した。
• モデルの性能は、トリミングに使用する近隣数というハイパーパrameterに敏感であることが判明し、将来的なロバストネス向上に向けた重要なハイパーパrameterの課題を示唆した。

Figure 2 : The scheme of proving the universal boundary approximation theorem.