[論文レビュー] Clustering-Oriented Representation Learning with Attractive-Repulsive Loss

Kian Kenyon-Dean, Andre Cianflone+4 more|arXiv (Cornell University)|Dec 18, 2018

Domain Adaptation and Few-Shot Learning参考文献 25被引用数 7

ひとこと要約

本稿では、コサインまたはガウス類似度関数を用いた吸引・反発損失を用いて、潜在空間における自然なクラスタビリティを最適化する、ニューラルネットワーク表現を指向する新しい損失フレームワークであるClustering-Oriented Representation Learning (COREL) を提案する。CORELの変種は分類精度において分類クロスエントロピー（CCE）を上回っており、特にガウス型-CORELが顕著である。また、CCEに比べて一貫してより自然なクラスタビリティを持つ表現を生成する。特にコサイン型-CORELが顕著である。

ABSTRACT

The standard loss function used to train neural network classifiers, categorical cross-entropy (CCE), seeks to maximize accuracy on the training data; building useful representations is not a necessary byproduct of this objective. In this work, we propose clustering-oriented representation learning (COREL) as an alternative to CCE in the context of a generalized attractive-repulsive loss framework. COREL has the consequence of building latent representations that collectively exhibit the quality of natural clustering within the latent space of the final hidden layer, according to a predefined similarity function. Despite being simple to implement, COREL variants outperform or perform equivalently to CCE in a variety of scenarios, including image and news article classification using both feed-forward and convolutional neural networks. Analysis of the latent spaces created with different similarity functions facilitates insights on the different use cases COREL variants can satisfy, where the Cosine-COREL variant makes a consistently clusterable latent space, while Gaussian-COREL consistently obtains better classification accuracy than CCE.

研究の動機と目的

• ニューラルネットワークの学習を純粋な精度最適化から、潜在表現空間における自然なクラスタビリティの構築へと転換すること。
• 最終隠れ層において構造的に意味のあるクラスタ型の表現を生成できないCCEの限界に対処すること。
• 複数の類似度関数をサポートする、一般化可能な損失フレームワーク「吸引・反発（AR）」損失を提案すること。
• CORELの変種が、画像およびテキスト分類タスクにおいてクラスタビリティと分類性能の両方を向上させることを評価すること。
• CORELの表現が、最終分類器ヘッドに依存せずに、単純なクラスタリングアルゴリズムで高い精度を達成できることを示すこと。

提案手法

• 吸引・反発（AR）損失を一般フレームワークとして提案。損失は類似度関数 s(h, w_k) に基づく吸引項と反発項の組み合わせで構成される。
• AR損失を重み付き和として定式化：L_AR = Σ[-λ·L_attract(h, w_y) + (1−λ)·L_repulse(h, W)] （N個のサンプルについて）。
• CORELの2つの変種を導入：コサイン類似度を用いるコサイン型-CORELと、負の二乗ユークリッド距離を類似度関数として用いるガウス型-COREL。
• ガウス型-CORELでは類似度スコアをクラス確率にマップするためにソフトマックスを用いるが、コサイン型-CORELではソフトマックスを回避し、直接コサインに基づく吸引を最適化する。
• 分類器ヘッドを用いずに、最終層の表現に対して標準的なクラスタリングアルゴリズム（例：k-means）を適用し、明示的なクラスタリングの教師なしで自然なクラスタビリティを評価する。
• 画像およびテキストデータセットに対して、フィードフォワードおよび畳み込みネットワークを用いてモデルを学習し、CORELの変種をCCEおよびセンター損失と比較する。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークの潜在空間において、自然なクラスタビリティを明示的に促進する損失関数を設計可能か？
• RQ2 異なる類似度関数（コサイン対ガウス）が、学習された表現のクラスタビリティと分類精度に与える影響は何か？
• RQ3 CORELは、標準的なCCEおよびセンター損失に比べ、よりクラスタビリティが高く、かつより正確な表現を生成するか？
• RQ4 単純なクラスタリングアルゴリズムをCORELで学習した表現に適用することで、最終分類器ヘッドを回避しても高いテスト精度を達成できるか？
• RQ5 クラスタビリティ（コサイン型-CORELの例）と分類精度（ガウス型-CORELの例）の間の相対的トレードオフは何か？

主な発見

• ガウス型-CORELは、評価されたすべての画像およびテキスト分類タスクにおいて、CCEおよびセンター損失を常に上回る高いテスト精度を達成する。
• コサイン型-CORELは、k-meansクラスタリング性能の観点から、CCEに比べて一貫してより自然なクラスタビリティを持つ潜在表現を生成する。
• コサイン型-CORELモデルの最終隠れ層表現にk-meansを適用することで、分類器ヘッドを用いた場合と同等のテスト精度が達成される。
• コサイン型-CORELの潜在空間には、明示的なクラスタリングの教師なしでも、クラスラベルに対応する明確で明確なクラスタが存在する。
• ガウス型-CORELでは、負の二乗ユークリッド距離とソフトマックスの組み合わせにより、CCEに比べて特に複雑なデータセットでより優れた判別的特徴が得られる。
• CORELの変種は、損失関数の変更を除き、アーキテクチャの変更を一切必要とせず、多様なモデルアーキテクチャに容易に適用可能で、効果的である。