[論文レビュー] k-meansNet: When k-means Meets Differentiable Programming.

Xi Peng, Joey Tianyi Zhou+1 more|arXiv (Cornell University)|Aug 22, 2018

Anomaly Detection Techniques and Applications参考文献 67被引用数 19

ひとこと要約

k-meansNet は、収束性、初期化に対するロバスト性、オンライン適合性を保証する、微分可能で解釈可能なニューラルネットワーク形式の k-means クラスタリング目的関数を提案する。k-means を微分可能アーキテクチャに統合することで、明示的な解釈可能性を備えたエンドツーエンド学習が可能となり、困難なデータセットにおいて 12 種類のクラスタリング手法を上回る性能を発揮する。

ABSTRACT

In this paper, we study two challenging problems. The first one is how to implement extit{k}-means in the neural network, which enjoys efficient training based on the stochastic algorithm. The second one is how to enhance the interpretability of network design for clustering. To solve the problems, we propose a neural network which is a novel formulation of the vanilla $k$-means objective. Our contribution is in twofold. From the view of neural networks, the proposed extit{k}-meansNet is with explicit interpretability in neural processing. We could understand not only why the network structure is presented like itself but also why it could perform data clustering. Such an interpretable neural network remarkably differs from the existing works that usually employ visualization technique to explain the result of the neural network. From the view of extit{k}-means, three highly desired properties are achieved, i.e. robustness to initialization, the capability of handling new coming data, and provable convergence. Extensive experimental studies show that our method achieves promising performance comparing with 12 clustering methods on some challenging datasets.

研究の動機と目的

• k-means クラスタリング手法を、効率的で確率的学習に適した微分可能ニューラルネットワークフレームワークに統合すること。
• 内部処理を透明かつ説明可能にすることで、クラスタリングにおけるニューラルネットワーク設計の解釈性を向上させること。
• k-means の3つの主要な特性を達成すること：初期化に対するロバスト性、ストリーミングデータの処理能力、理論的収束性。
• 解釈に後処理可視化に依存するブラックボックス型ニューラルクラスタリングモデルの限界を克服すること。

提案手法

• 温度制御されたソフトマックスを用いて離散的クラスタ割り当てを置き換えることで、k-means を微分可能な目的関数として定式化する。
• ニューラルネットワーク内に学習可能な重心パラメータ化を導入し、バックプロパゲーションによるエンドツーエンド最適化を可能にする。
• ハードクラスタリングステップの微分可能緩和を採用することで、クラスタ割り当てと重心更新の両方に勾配伝播を可能にする。
• 2段階の訓練プロセスを採用：まずソフト割り当てによるクラスタ割り当ての最適化を行い、その後勾配降下法による重心の最適化を実行する。
• 温度の段階的低下スケジュールを適用して、徐々にソフト割り当てからハード割り当てへ移行させ、収束安定性を向上させる。
• 各層や演算が k-means アルゴリズムのステップに直接対応するようにネットワークを構造化することで、明示的な解釈可能性を維持する。

実験結果

リサーチクエスチョン

• RQ1 k-means クラスタリングを、そのコアなアルゴリズム的性質を保ったまま、微分可能なニューラルネットワークフレームワークに効果的に統合できるか？
• RQ2 後処理可視化技術を越えた解釈性を、ニューラルクラスタリングモデルでどのように向上できるか？
• RQ3 提案された微分可能な k-means 定式化は、理論的収束性と初期化に対するロバスト性を達成できるか？
• RQ4 完全な再トレーニングなしに、新しい入ってくるデータを効率的に処理できるか、オンラインクラスタリングが可能か？

主な発見

• k-meansNet は設計上、収束性を保証する。これは、多くの深層クラスタリング手法が理論的保証を持たないのとは対照的である。
• 初期化に対してロバストである。複数のランダムシードに対して一貫して高品質な解に収束する。
• インクリメンタル学習をサポートしており、ネットワーク全体の再トレーニングなしに新しいデータの効果的なクラスタリングが可能である。
• 困難なベンチマークデータセットにおいて、k-meansNet は 12 種類の最先端クラスタリング手法を、クラスタリング品質の観点で上回る。
• モデルの解釈性は明示的である。各コンponentが k-means の操作に直接対応しており、ネットワークの挙動を明確に理解できる。
• 微分可能定式化により、安定した勾配と信頼性の高い最適化が可能なエンドツーエンド学習が実現できる。