[論文レビュー] Let the Data Choose its Features: Differentiable Unsupervised Feature Selection.

Ofir Lindenbaum, Uri Shaham+3 more|arXiv (Cornell University)|Jul 9, 2020

Neural Networks and Applications被引用数 4

ひとこと要約

この論文は、特徴量のゲーティングにベルヌーイ変数の連続的リラクゼーションを用い、グラフラプラシアンを用いて低周波数で情報量の多い特徴量をスコア化する、微分可能で教師なしの特徴選択手法を提案する。本手法は、特徴選択とクラスタリングを同時に最適化するため、勾配ベースの最適化が可能であり、実世界のデータセットにおいてベースラインを上回る優れた性能を示す。

ABSTRACT

Scientific observations often consist of a large number of variables (features). Identifying a subset of meaningful features is often ignored in unsupervised learning, despite its potential for unraveling clear patterns hidden in the ambient space. In this paper, we present a method for unsupervised feature selection, tailored for the task of clustering. We propose a differentiable loss function which combines the graph Laplacian with a gating mechanism based on continuous approximation of Bernoulli random variables. The Laplacian is used to define a scoring term that favors low-frequency features, while the parameters of the Bernoulli variables are trained to enable selection of the most informative features. We mathematically motivate the proposed approach and demonstrate that in the high noise regime, it is crucial to compute the Laplacian on the gated inputs, rather than on the full feature set. Experimental demonstration of the efficacy of the proposed approach and its advantage over current baselines is provided using several real-world examples.

研究の動機と目的

• 教師なし学習、特にクラスタリングタスクにおいて特徴選択の欠如を是正すること。
• ラベルなしの環境下で高次元データから意味のある特徴量の部分集合を特定すること。
• 特徴選択とクラスタリングのエンドツーエンド訓練を可能にする微分可能なメカニズムの開発。
• 高ノイズ環境下で、ゲーティングされた（選択された）入力に対してグラフラプラシアンを適用することの数学的裏付け。
• 実世界のデータセットにおいて本手法の有効性を実証し、既存の教師なし特徴選択ベースラインに対する優位性を示すこと。

提案手法

• 本手法は、連続的リラクゼーションに基づくベルヌーイ確率変数のゲーティング機構とグラフラプラシアンを組み合わせた微分可能な損失関数を導入する。
• グラフラプラシアンはゲーティングされた特徴量入力上で計算され、情報量が多く安定した特徴量に対応する低周波成分を優遇する。
• ベルヌーイパラメータは微分可能であり、エンドツーエンドで訓練可能で、どの特徴量を選択すべきかを学習する。
• ゲーティング機構により、各特徴量の寄与度が学習可能なゲートパラメータによって決定されるソフトな特徴選択が可能となる。
• 損失関数は、クラスタリングの質と特徴選択のバランスを保つように設計されており、高周波成分を罰する一方で、スパースで情報量の多い特徴集合を促進する。
• 本手法は高ノイズ環境下でも理論的に正当化されており、全入力空間ではなくゲーティングされた入力上でラプラシアンを計算することで、性能劣化を回避できる。

実験結果

リサーチクエスチョン

• RQ1 教師なし特徴選択をどのように微分可能にすれば、クラスタリング目的関数とのエンドツーエンド訓練が可能になるか？
• RQ2 高次元かつラベルなしのデータにおいて、クラスタリングに最適な特徴量のスコア付けと選択の最適な方法は何か？
• RQ3 高ノイズ環境下で、ゲーティングされた入力上でラプラシアンを計算する方が、全特徴量集合上で計算するよりも効果的である理由は何か？
• RQ4 ベルヌーイゲートによる特徴選択の連続的リラクゼーションは、離散的または微分不能な手法と比較して、クラスタリング性能を向上させられるか？
• RQ5 本手法は、実世界のデータセットにおいて、既存の教師なし特徴選択ベースラインと比較してどのように異なるか？

主な発見

• 本手法は、微分可能で連続的なゲーティング機構を通じて情報量の多い特徴量を学習的に選択することで、クラスタリング性能が向上することを示した。
• 高ノイズ環境下では、全入力空間ではなくゲーティングされた入力上でグラフラプラシアンを計算することが、性能維持のために不可欠である。
• ベルヌーイ変数の連続的リラクゼーションにより、特徴選択プロセスを介した効果的なバックプロパゲーションが可能となり、選択とクラスタリングの共同最適化が実現された。
• 実世界のデータセットにおける実験結果から、本手法は既存の教師なし特徴選択ベースラインを上回るクラスタリング精度と安定性を示した。
• ノイズと高次元性に対して本手法は頑健であり、意味のある特徴量部分集合を特定する上で明確な改善効果を示した。
• 理論的分析により、ゲーティングされた特徴量上で計算されたラプラシアンが、ノイズの多いデータにおいて低周波数で安定したパターンをよりよく捉えられると確認された。