[論文レビュー] Differentiable Unsupervised Feature Selection based on a Gated Laplacian

Ofir Lindenbaum, Uri Shaham+3 more|arXiv (Cornell University)|Jul 9, 2020

Neural Networks and Applications参考文献 49被引用数 14

ひとこと要約

本稿では、トレーニング可能なベルヌーイゲートを用いたゲート付きラプラシアンスコアと組み合わせることで、高次元でノイズの多いデータにおける情報量の多い特徴量を特定する、微分可能で教師なし特徴選択（DUFS）を提案する。ゲーティング機構を連続的に微分可能にすることで、動的に選択された特徴量サブセット上でラプラシアンを再評価する。実世界のデータセットおよびノイズが混入したデータセットにおいて、クラスタリング精度の面で標準的なラプラシアンスコアおよびベースラインを上回る。

ABSTRACT

Scientific observations may consist of a large number of variables (features). Identifying a subset of meaningful features is often ignored in unsupervised learning, despite its potential for unraveling clear patterns hidden in the ambient space. In this paper, we present a method for unsupervised feature selection, and we demonstrate its use for the task of clustering. We propose a differentiable loss function that combines the Laplacian score, which favors low-frequency features, with a gating mechanism for feature selection. We improve the Laplacian score, by replacing it with a gated variant computed on a subset of features. This subset is obtained using a continuous approximation of Bernoulli variables whose parameters are trained to gate the full feature space. We mathematically motivate the proposed approach and demonstrate that in the high noise regime, it is crucial to compute the Laplacian on the gated inputs, rather than on the full feature set. Experimental demonstration of the efficacy of the proposed approach and its advantage over current baselines is provided using several real-world examples.

研究の動機と目的

• 教師なし学習において、ノイズの多い特徴量が元のデータ構造を隠してしまうという課題に取り組むこと、特に高次元の科学的データセットにおいて。
• 全特徴空間ではなく、選択された特徴量サブセット上でラプラシアンを動的に再評価できるように、ラプラシアンスコアを改善すること。
• 勾配上での最適化を可能にする、微分可能でエンドツーエンドでトレーニング可能な教師なし特徴選択フレームワークを構築すること。
• ラプラシアンを計算する前に特徴量を選択すること（計算後に選択するのではなく）が、ノイズが多い状況下で真の多様体構造をよりよく検出できることを示すこと。

提案手法

• 連続的近似を用いたベルヌーイ変数のリラクゼーションを活用し、微分可能ゲーティング機構を導入することで、勾配上最適化を可能にする。
• ゲートパラメータによって決定される特徴量サブセット上でラプラシアンを計算するゲート付きラプラシアンスコアを提案する。全特徴量ではなく、サブセット上で計算する。
• 選択された特徴量に基づくガウスカーネルを用いてグラフラプラシアンを構築し、局所的な多様体構造を保持する。
• ゲートパラメータを微分することでバックプロパゲーションにより目的関数を最適化し、特徴選択と構造保持の両方を同時に学習可能にする。
• 選択プロセスを微分可能にするために、ベルヌーイゲートの連続的近似（例：コンクリートリラクゼーション）を採用する。
• すべてのトレーニングを完全に教師なしで行い、選択された特徴量上でk-meansクラスタリングを実行して性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 微分可能特徴選択機構は、ノイズの多い高次元データにおける教師なしクラスタリング性能を向上させることができるか？
• RQ2 動的に選択された特徴量サブセット上でラプラシアンスコアを計算することで、全特徴集合に適用する場合よりも優れた構造回復が達成できるか？
• RQ3 提案手法は、既存の教師なし特徴選択ベースラインと比較して、クラスタリング精度およびノイズ耐性において優れているか？
• RQ4 どのような状況下で、ゲート付きサブセット上でラプラシアンを再評価することが、元のデータ構造の検出に不可欠となるか？
• RQ5 提案手法は、ラベル情報を利用せずに、現実世界のデータセットにおいて意味のある特徴量を特定できるか？

主な発見

• 9つのベンチマークデータセットにおいて、DUFSは中央順位が1、平均順位が1.3を達成し、6つのデータセットで全6つのベースラインを上回り、残りの3つのデータセットでも2位にランクされた。
• ノイズが混入したMNISTでは、DUFSが数字の左側（例：'3'と'8'を区別する）に特徴量が集中する選択を行い、ラプラシアンスコアよりも高いクラスタリング精度を達成した。
• ノイズが混入したPIX10では、顔画像クラスタリングにおいてより情報量の多い特徴量を選択し、ピクセルレベルのノイズに対して高い耐性を示した。
• 選択特徴量数を50から300に変化させた実験において、DUFSはすべての設定でラプラシアンスコアを常に上回るクラスタリング精度を示した。
• 標準的なラプラシアンスコアがノイズの多い特徴量に埋もれてしまうため機能しなくなる高ノイズ環境下でも、本手法は顕著な優位性を示した。
• アブレーションスタディの結果、ゲート付きサブセット上でラプラシアンを再評価することが不可欠であることが確認され、特徴量の選択後にラプラシアンを再計算することで、構造検出性能が著しく向上した。