[論文レビュー] Autoencoder Feature Selector.

Kai Han, Chao Li+1 more|arXiv (Cornell University)|Oct 23, 2017

Image and Signal Denoising Methods被引用数 6

ひとこと要約

本稿では、高次元データにおける複雑な非線形相関に対しても最も関連性の高い特徴量を同定できる非線形で非教師ありの特徴選択手法であるAutoencoder Feature Selector (AEFS) を提案する。この手法は自己符号化器とグループlasso正則化を組み合わせており、従来の線形手法（正則化自己表現）よりも非線形関係をモデル化できることで優れた性能を発揮する。さらに、ノイズやデータ損傷に強い強化版も提供されている。

ABSTRACT

High-dimensional data in many areas such as computer vision and machine learning brings in computational and analytical difficulty. Feature selection which select a subset of features from original ones has been proven to be effective and efficient to deal with high-dimensional data. In this paper, we propose a novel AutoEncoder Feature Selector (AEFS) for unsupervised feature selection. AEFS is based on the autoencoder and the group lasso regularization. Compared to traditional feature selection methods, AEFS can select the most important features in spite of nonlinear and complex correlation among features. It can be viewed as a nonlinear extension of the linear method regularized self-representation (RSR) for unsupervised feature selection. In order to deal with noise and corruption, we also propose robust AEFS. An efficient iterative algorithm is designed for model optimization and experimental results verify the effectiveness and superiority of the proposed method.

研究の動機と目的

• コンピュータビジョンおよび機械学習分野における高次元データの課題に応えるために、特徴選択の効率性と正確性を向上させること。
• 特徴間の非線形的・複雑な相関関係を捉えることができない線形特徴選択手法の限界を克服すること。
• ノイズや損傷のあるデータ入力を扱える耐性のある手法のバリエーションを開発すること。
• 大規模データセットにスケーリング可能な効率的な反復最適化アルゴリズムを提供すること。
• ベンチマークデータ上で、既存の非教師あり特徴選択手法と比較して優れた性能を示すことを目的とする。

提案手法

• 高次元入力データの非線形低次元表現を学習するための自己符号化器アーキテクチャを用いる。
• エンコーダーの重みにグループlasso正則化を適用し、特徴グループ全体のスパarsityを促進することで、特徴選択を実現する。
• 各入力特徴量を1つのグループとして扱い、再構成誤差への寄与度に基づいて特徴量全体を選び出すことができる。
• 効率的な交替方向乗数法（ADMM）に類似した反復的アルゴリズムにより、目的関数を最適化する。
• 外れ値や損傷のあるデータポイントに対して感受性が低くなるように再構成損失を変更することで、耐性を強化する。
• 特徴選択タスクを正則化自己表現問題として定式化し、自己符号化器を用いて線形設定のRSRを非線形に拡張する。

実験結果

リサーチクエスチョン

• RQ1 自己符号化器に基づく非線形特徴選択手法は、非線形相関を捉える点で線形手法を上回ることができるか？
• RQ2 グループlasso正則化は、非線形ディープラーニングフレームワーク内での意味のある特徴量の選択にどの程度有効か？
• RQ3 提案された耐性のあるAEFSバリエーションは、ノイズや損傷のあるデータ条件下でどの程度性能を向上させるか？
• RQ4 反復的最適化アルゴリズムは、高次元データセット上で収束性とスケーラビリティをどのように保証するか？
• RQ5 正則化自己表現（RSR）の非線形拡張は、線形版と比較して特徴選択の正確性を向上させるか？

主な発見

• AEFSは、非線形特徴依存関係を示すデータセットにおいて、従来の線形手法（正則化自己表現：RSR）よりも優れた特徴選択性能を達成する。
• グループlassoと自己符号化器の統合により、関連性の高い特徴量の選択が効果的に行われ、不要または重複する特徴量の抑制も可能になる。
• 耐性のあるAEFSバリエーションは、データ損傷やノイズに対して優れた耐性を示し、悪条件下でも高い特徴選択正確性を維持する。
• 反復的最適化アルゴリズムは効率的に収束し、大規模な高次元データセットへの実用的応用を可能にする。
• 実験的結果により、AEFSはベンチマークデータセットにおいて、特徴選択正確性と再構成品質の両面でベースライン手法を上回ることが確認された。