[論文レビュー] Semi-crowdsourced Clustering with Deep Generative Models

Yucen Luo, Tian Tian+3 more|arXiv (Cornell University)|Oct 29, 2018

Anomaly Detection Techniques and Applications参考文献 26被引用数 7

ひとこと要約

本稿では、原始データ表現のための深層生成モデル（DGM）と、データの一部におけるノイズの多いペアワイズのクラウドラベルを扱う統計的関係モデルを統合した、半クラウドソーシング型深層クラスタリング（SCDC）を提案する。自然勾配を用いた高速な確率的変分推論を用いて、アンモタイズドDGM学習と変分メッセージパッシングを統合し、最小限の人的ラベルと、完全ベイズ型バージョンによる自動的複雑性制御を実現することで、MNISTおよびCIFAR-10で最先端のクラスタリング性能を達成した。

ABSTRACT

We consider the semi-supervised clustering problem where crowdsourcing provides noisy information about the pairwise comparisons on a small subset of data, i.e., whether a sample pair is in the same cluster. We propose a new approach that includes a deep generative model (DGM) to characterize low-level features of the data, and a statistical relational model for noisy pairwise annotations on its subset. The two parts share the latent variables. To make the model automatically trade-off between its complexity and fitting data, we also develop its fully Bayesian variant. The challenge of inference is addressed by fast (natural-gradient) stochastic variational inference algorithms, where we effectively combine variational message passing for the relational part and amortized learning of the DGM under a unified framework. Empirical results on synthetic and real-world datasets show that our model outperforms previous crowdsourced clustering methods.

研究の動機と目的

• 既存のクラウドソーシング型クラスタリング手法が低レベル特徴に依存し、作業者によるノイズやばらつきを無視するという限界を是正すること。
• ラベル付けコストを削減するため、高精度のクラスタリングを維持しつつ、ペアワイズアノテーションの小さなサブセットのみを用いること。
• 共有の潜在変数を通じて原始データとノイズの多いクラウドラベルを同時にモデリングし、エンドツーエンドの学習を可能にすること。
• 手動でのチューニングなしでモデルの複雑性を自動制御できる完全ベイズ型バージョンの開発。
• アンモタイズドDGM学習と変分メッセージパッシングを統合した統一フレームワークを用いて、効率的な推論を実現すること。

提案手法

• モデルは、原始データから階層的かつ非線形な表現を学ぶための深層生成モデル（DGM）を用い、パラメータ ${\bm{\gamma}}$ で定義され、観測データ $\mathbf{o}_n$ が潜在因子 $\mathbf{x}_n$ から生成される。
• クラスタメンバーシップは離散的潜在変数 $\mathbf{z}_n$ を用いたガウス・ミックスチャネルで定義され、クラスタ平均 $\bm{\mu}$、共分散 $\bm{\Sigma}$、混合割合 $\bm{\pi}$ を持つ。
• クラウドソーシング型ペアワイズラベル $\mathbf{L}$ は、作業者固有の正確性（$\bm{\alpha}, \bm{\beta}$）と好みを考慮する統計的関係モデルでモデリングされる。
• DGMと関係モデルは同じ潜在変数 $\mathbf{z}_n$ を共有しており、これにより共同推論とエンドツーエンドのトレーニングが可能になる。
• $\bm{\alpha}, \bm{\beta}, \bm{\pi}$ に共役事前分布を導入することで、完全ベイズ型バージョンを導入し、モデルの複雑性を自動制御可能にする。
• 共役部分には自然勾配更新を、非共役DGM部にはアンモタイズド推論を用いることで、統一された確率的変分推論フレームワークにより高速な推論を実現する。

実験結果

リサーチクエスチョン

• RQ1 ノイズの多いペアワイズアノテーションと組み合わせた深層生成モデルは、クラスタリング性能の向上に寄与するか？
• RQ2 共有の潜在変数は、半教師あり設定において、原始データモデリングとノイズの多いラベルモデリングを効果的に統合できるか？
• RQ3 モデルの完全ベイズ型バージョンは、手動でのハイパーパrameterチューニングなしで、複雑性を自動制御し、過学習を回避できるか？
• RQ4 提案された推論フレームワークは、関係的部品における変分メッセージパッシングとアンモタイズドDGM学習のバランスをどのようにとるか？
• RQ5 他の手法と比較して、本モデルはどれほどラベル付けコストを削減しつつ、クラスタリング精度を維持または向上できるか？

主な発見

• MNISTでは、BayesSCDCがノイズの多いアノテーションを用いて84.24％のクラスタリング精度と0.8120のNMIを達成し、SCDC（81.87％の精度、0.7657のNMI）およびアノテーションなしのベースラインを顕著に上回った。
• BayesSCDCは、クラスタ数に比例する線形スケーリングを回避することで、1エポックあたりの学習時間を201.7秒から16.4秒に短縮し、計算効率の高さを示した。
• CIFAR-10では、アノテーションを用いたSCDCが50.09％の精度と0.5549のNMIを達成し、アノテーションなしでは14.23％の精度と0.0424のNMIにとどまっていたことから、顕著な改善が得られた。
• 完全ベイズ型バージョン（BayesSCDC）は、トレーニング中にクラスタ数を自動的に特定したことが、時間経過に伴うクラスタ割合の可視化から明らかになった。
• 複数のランダム初期化においてもモデルの性能は安定しており、結果の分散が小さく、最適化の安定性が示された。
• 提案された推論フレームワークは、変分メッセージパッシングとアンモタイズド学習を効果的に統合し、複雑なデータにおけるスケーラブルで正確な共同推論を可能にした。