[論文レビュー] Hyperspherical Prototype Networks

Pascal Mettes, Elise van der Pol+1 more|arXiv (Cornell University)|Jan 29, 2019

Modular Robots and Swarm Intelligence参考文献 46被引用数 50

ひとこと要約

本研究は固定された hyperspherical クラスプロトタイプを定義し、コサイン類似度を用いて入力を分類と回帰にマッピングし、プロトタイプを更新せずにスケーラブルな出力空間でマルチタスク学習を可能にする。

ABSTRACT

This paper introduces hyperspherical prototype networks, which unify classification and regression with prototypes on hyperspherical output spaces. For classification, a common approach is to define prototypes as the mean output vector over training examples per class. Here, we propose to use hyperspheres as output spaces, with class prototypes defined a priori with large margin separation. We position prototypes through data-independent optimization, with an extension to incorporate priors from class semantics. By doing so, we do not require any prototype updating, we can handle any training size, and the output dimensionality is no longer constrained to the number of classes. Furthermore, we generalize to regression, by optimizing outputs as an interpolation between two prototypes on the hypersphere. Since both tasks are now defined by the same loss function, they can be jointly trained for multi-task problems. Experimentally, we show the benefit of hyperspherical prototype networks for classification, regression, and their combination over other prototype methods, softmax cross-entropy, and mean squared error approaches.

研究の動機と目的

• ハイパースフィラス出力空間と固定プロトタイプを持つネットワークのクラスを導入する。
• プロトタイプ配置における大きなマージン分離と意味的 priors を可能にする。
• 共通のコサイン類似度損失の下で分類と回帰を統一する。
• クラス数を超える柔軟な出力次元を許容する。
• 分類、回帰、マルチタスク設定における利点を示す。

提案手法

• 訓練前に D 次元単位ハイパースフィア上に K 個のクラスプロトタイプを配置して大きなマージン分離を強制する。
• ネットワーク f_phi(x) を用いて出力と真のクラスプロトタイプとの間の (1 - cos theta)^2 を最小化することにより訓練する。
• データに依存しない最適化によってプロトタイプを配置し、クラスの三つ組を用いたランキングに基づく損失を通じて意味的 priors を任意に導入する。
• 回帰へ拡張するには、上限と下限として2つの反対のプロトタイプを維持し、コサイン類似度を介して内挿する。
• 同じ二乗コサイン損失をタスク重み付けなしで用いることで、同時に分類と回帰を許容する。
• ハイパースフィア上の大きな分離を強制する微分可能な目的関数を用いてプロトタイプ配置を最適化する仕組みを提供する。

実験結果

リサーチクエスチョン

• RQ1 固定されたハイパースフィスラルプロトタイプは、出力次元数が変動しても標準データセットで競争力のある精度を提供できるか。
• RQ2 出力空間が小さいまたは不均等に分布している場合、プロトタイプ配置に意味的priorsを組み込むと分類精度は改善されるか。
• RQ3 回帰は上限と下限の間のコサインベースの内挿を用いた高次元のハイパースフィラス出力空間で効果的に行えるか。
• RQ4 同じ出力空間で分類と回帰を共同訓練し、タスク重みの調整なしで実現できるか。
• RQ5 従来のプロトタイプベース手法やソフトマックスと比較して、収束性と頑健性はどうか。

主な発見

• ハイパースフィラスプロトタイプは、複数の出力次元に対して CIFAR-100 および ImageNet-200 で高い精度を達成し、ワンホットおよび Word2vec プロトタイプのベースラインを上回る。
• ハイパースフィア上のプロトタイプ分離は、ベースラインより一貫して高く、クラス分離が改善されることを示す。
• 意味的情報を取り入れると、特に出力次元が小さい場合に分類が改善される。
• このアプローチは OmniArt で堅牢な回帰結果を示し、学習率の選択に対するロバスト性がベースラインの MSE 法より高い。
• 回転させた MNIST での同空間モデリングは、同じ空間での分類と回帰の両方のタスクを示す。
• クラスごとの学習データが乏しいまたは不均等な場合、ハイパースフィラスプロトタイプはソフトマックス交差エントロピーと比較してより良い性能を示す。