[論文レビュー] Algorithmic Stability and Generalization of an Unsupervised Feature Selection Algorithm

Xinxing Wu, Qiang Cheng|PubMed|Oct 19, 2020

Face and Expression Recognition参考文献 10被引用数 8

ひとこと要約

本稿では、畳み込みニューラルネットワークを用いてグローバル特徴スコアラーとローカル特徴選択器を統合する、新たな教師なし特徴選択アルゴリズムを提案する。この手法は、証明可能なアルゴリズム的安定性と一般化誤差バウンドを達成しており、実世界のデータセットにおいて優れた性能を示している。選択された特徴は元の特徴の性能を維持し、データの摂動に対しても安定している。

ABSTRACT

Feature selection, as a vital dimension reduction technique, reduces data dimension by identifying an essential subset of input features, which can facilitate interpretable insights into learning and inference processes. Algorithmic stability is a key characteristic of an algorithm regarding its sensitivity to perturbations of input samples. In this paper, we propose an innovative unsupervised feature selection algorithm attaining this stability with provable guarantees. The architecture of our algorithm consists of a feature scorer and a feature selector. The scorer trains a neural network (NN) to globally score all the features, and the selector adopts a dependent sub-NN to locally evaluate the representation abilities for selecting features. Further, we present algorithmic stability analysis and show that our algorithm has a performance guarantee via a generalization error bound. Extensive experimental results on real-world datasets demonstrate superior generalization performance of our proposed algorithm to strong baseline methods. Also, the properties revealed by our theoretical analysis and the stability of our algorithm-selected features are empirically confirmed.

研究の動機と目的

• 既存の教師なし特徴選択手法に見られるアルゴリズム的安定性の保証の欠如に対処すること。
• 理論的バウンドを伴う一般化性能を保証する特徴選択アルゴリズムの開発。
• 新しい空間への変換を伴わせずに元の特徴の重要度を保持することで、解釈可能な特徴選択を可能にすること。
• 異なるデータ摂動やハイパーパrameterに対して、選択された特徴の安定性と一般化特性を実験的に検証すること。

提案手法

• アルゴリズムは、入力特徴の再構成有効性に基づき、すべての特徴にグローバルにスコアを割り当てるニューラルネットワーク（NN）を用いる。
• 高スコア特徴の表現能力を局所的に評価するため、従属的なサブNNを採用する。
• 再構成誤差と正則化をバランスさせる共同最適化目的関数を定式化し、アルゴリズム的安定性解析を用いて一般化誤差バウンドを導出する。
• 理論的解析により、一様安定性バウンド $\mathcal{O}\left(1/\left(n\min\{\sqrt{\lambda_{1}},\lambda_{1}\}\right)+1/n\right)$ と一般化誤差バウンド $\mathcal{O}\left(1/\left(\sqrt{n}\min\{\sqrt{\lambda_{1}},\lambda_{1}\}\right)+1/\sqrt{n}\right)$ が確立された。
• 主ネットワークとサブネットワーク間でパラメータを共有することで、オートエンコーダと同等の計算効率を維持する。
• 実験的検証として、10個の実世界データセットを用い、再構成性能および下流分類タスクにおける性能を最先端のベースラインと比較した。

実験結果

リサーチクエスチョン

• RQ1 提案手法は、証明可能なアルゴリズム的安定性と一般化誤差バウンドを達成するか？
• RQ2 選択された特徴の性能は、元の全特徴セットと比較して再構成および分類タスクで同等か？
• RQ3 異なるデータ分割や摂動に対して、選択された特徴はどの程度安定しているか？
• RQ4 サンプル数 $n$、正則化 $\lambda_1$、選択する特徴数 $k$ などのハイパーパrameterが、アルゴリズムの安定性と一般化性能にどのように影響するか？

主な発見

• 提案手法は一般化誤差バウンド $\mathcal{O}\left(1/\left(\sqrt{n}\min\{\sqrt{\lambda_{1}},\lambda_{1}\}\right)+1/\sqrt{n}\right)$ を達成し、理論的性能保証が裏付けられた。
• 一様安定性が実現されており、訓練サンプル数 $n$ が増加するに従い安定性バウンドが減少する傾向を示し、理論的予測と整合的である。
• 10個の実世界データセットにおいて、再構成および下流分類タスクの両方で、強力なベースライン手法を上回る性能を示した。
• 選択された特徴は元の全特徴セットと同等の性能を達成しており、高い有用性と代表性を示している。
• 実験的結果から、異なるランダムなデータ分割に対して選択された特徴が極めて安定しており、繰り返し実験でもほぼ同一の特徴集合が選択されていることが確認された。
• 計算コストはオートエンコーダの約2倍であるが、パラメータ共有と類似した最適化構造のおかげで、追加のオーバーヘッドは最小限に抑えられている。