[論文レビュー] Deep Amortized Clustering

Juho Lee, Yoonho Lee+1 more|arXiv (Cornell University)|Sep 30, 2019

Domain Adaptation and Few-Shot Learning参考文献 35被引用数 13

ひとこと要約

Deep Amortized Clustering (DAC) は、アモアタイズド推論を通じてデータを効率的にクラスタリングするニューラルネットワークフレームワークであり、セットトランスフォーマー構造を用いて、1回の順伝播ごとに1つのクラスタを特定することで、順番にクラスタを識別する。DAC はラベル付きトレーニングデータセットからクラスタ定義をメタラーニングし、反復的手法と比較して数個のオーダー速い推論を実現しながら、事前の知識なしにクラスタ数を正確に推定する。

ABSTRACT

We propose a deep amortized clustering (DAC), a neural architecture which learns to cluster datasets efficiently using a few forward passes. DAC implicitly learns what makes a cluster, how to group data points into clusters, and how to count the number of clusters in datasets. DAC is meta-learned using labelled datasets for training, a process distinct from traditional clustering algorithms which usually require hand-specified prior knowledge about cluster shapes/structures. We empirically show, on both synthetic and image data, that DAC can efficiently and accurately cluster new datasets coming from the same distribution used to generate training datasets.

研究の動機と目的

• データからクラスタ定義を暗黙的に学習するクラスタリング手法を開発すること。クラスタ形状や数に関する手動で指定された仮定を回避すること。
• 反復的最適化に基づく手法とは異なり、ニューラルネットワークを数回の順伝播のみで高速かつ効率的にクラスタリングすること。
• 同じ分布からの未観測データセットに一般化できること。真のラベルなしでクラスタ数を推定できること。
• 並列処理により、逐次的または反復的クラスタリング手法よりもスケーラビリティとパフォーマンスを向上させること。
• Omniglot などの実世界の画像ベンチマークで、最小限の計算量で最先端性能を達成することを示すこと。

提案手法

• DAC は、入力データを置換不変の方法で処理できるマルチヘッドアテンションを備えたセットトランスフォーマー構造を用い、順序のないデータポイントの堅牢なクラスタリングを可能にする。
• モデルは1回の順伝播ごとに、データポイントに注目し、クラスタープロトタイプを生成することで、1つのクラスタを特定する。これにより、データセットの複雑さに応じて可変な数のクラスタを発見できる。
• フィルタリング機構により、ソフトなクラスタ所属確率が離散化され、数回の順伝播後に決定的なクラスタ割り当てが得られる。
• ネットワークは、真のクラスタリングが既知の合成データセット上でメタラーニングにより訓練され、新しい未観測データセットへの一般化が可能になる。
• 別個のヘッドが、プールド表現を用いてクラスタ数（$k$）を推定し、未知のクラスタ数に対してより頑健になるようにする。
• フレームワークはエンドツーエンドの訓練と推論をサポートしており、大規模ベンチマークでさえも1データセットあたり数秒の推論時間で実現できる。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークは、クラスタ形状や数に関する事前の仮定なしに、効率的にデータをクラスタリングできるか？
• RQ2 深層学習によるアモアタイズド推論は、従来の反復的クラスタリングアルゴリズムを速度と精度の両面で上回れるか？
• RQ3 合成データで訓練したモデルは、Omniglot などの実世界の画像データセットに効果的に一般化できるか？
• RQ4 教師なし条件下で、深層ネットワークはクラスタ数（$k$）をどれほど正確に推定できるか？
• RQ5 逐次的なクラスタ同定アプローチは、並列的または反復的アプローチと比較して、より優れたスケーラビリティと一般化性能を実現できるか？

主な発見

• 合成データでは、DAC はテストされたすべての手法の中で最高のクラスタリング精度を達成し、KCL や MCL といった反復ベースラインと比較して著しく速い推論時間を実現した。
• Omniglot ベンチマークでは、真のクラスタ数を必要とせず、正規化相互情報量（NMI）が 0.829 を達成し、非学習ベースラインを上回り、計算量を大幅に減らして最先端性能に匹敵した。
• Omniglot データセットにおいて、DAC は平均絶対誤差（k-MAE）が 4.6 と評価され、KCL（6.4）と MCL（5.1）を上回った。
• DAC は1データセットあたり平均 4.3 秒で推論が完了したが、KCL や MCL は 120 秒以上を要した。これは、推論速度が数個のオーダー速いことを示している。
• モデルの性能は、未学習の画像クラスでも頑健であった。これは、多様な合成分布で学習したことで、強力な一般化性能を発揮していることを示している。
• VGG バックボーンからの事前学習特徴量は強力な性能を発揮したが、小規模データセットでのエンドツーエンド訓練では失敗した。これは、十分な訓練の多様性が必要であることを示している。