[論文レビュー] Nearest Neighbour Radial Basis Function Solvers for Deep Neural Networks

Benjamin J. Meyer, Ben Harwood+1 more|arXiv (Cornell University)|May 27, 2017

Face and Expression Recognition被引用数 5

ひとこと要約

この論文は、各訓練特徴量をRBF中心として扱い、埋め込み空間における近似最近傍探索を用いて損失を計算する、深層ニューラルネットワーク向けの径数基底関数（RBF）ソルバーを提案する。エンドツーエンド学習を可能にし、意味的に類似したインスタンスをクラスタリングすることで、メトリック学習においてStanford Cars196およびCUB-200-2011で最先端の性能を達成し、分類タスクにおいてCaltech-256およびCUB-200-2011でソフトマックスを上回る性能を発揮する。

ABSTRACT

We present a radial basis function solver for convolutional neural networks that can be directly applied to both image classification and distance metric learning problems. Our method treats all training features from a deep neural network as radial basis function centres and computes loss by summing the influence of a feature's nearby centres in the embedding space. Having a radial basis function centred on each training feature is made scalable by treating it as an approximate nearest neighbour search problem. End-to-end learning of the network and solver is carried out, mapping high dimensional features into clusters of the same class. This results in a well formed embedding space, where semantically related instances are likely to be located near one another, regardless of whether or not the network was trained on those classes. The same loss function is used for both the metric learning and classification problems. We show that our radial basis function solver sets state-of-the-art embedding results on the Stanford Cars196 and CUB-200-2011 datasets. Additionally, we show that when used as a classifier, our method outperforms a conventional softmax classifier on the Caltech-256 object recognition dataset and the fine-grained recognition dataset CUB-200-2011.

研究の動機と目的

• 深層ニューラルネットワーク向けにスケーラブルでエンドツーエンド微分可能な損失関数を開発し、メトリック学習および分類の両タスクにおける埋め込み空間の品質を向上させること。
• 推論時にクラス固有の監視情報を必要とせずに、高次元特徴空間における意味的に類似したインスタンスのクラスタリングの課題に対処すること。
• 訓練特徴量を中心とする径数基底関数を用いて、メトリック学習と分類を1つの損失関数で統合すること。
• 単一の汎用的ソルバーを用いて、ファイングレイン認識およびオブジェクト認識ベンチマークで最先端の性能を達成すること。

提案手法

• 深層ネットワークの埋め込み空間内の各訓練特徴量を、径数基底関数の中心として扱う。
• スケーラビリティを確保するため、近似最近傍探索を用いて埋め込み空間内の特徴量の最近傍の影響を合算して損失を計算する。
• RBFソルバーは微分可能であり、ニューラルネットワークと同時に最適化され、特徴のクラスタリングを最適化する。
• この手法により、高次元特徴量がクラスに整合するクラスタにマップされ、構造的で整合性のある埋め込み空間が形成される。
• メトリック学習と分類の両タスクに一様に適用可能な単一の損失関数が使用される。
• 特徴の局所的近傍構造を活用することで、一般化性能および意味的類似性が向上する。

実験結果

リサーチクエスチョン

• RQ1 径数基底関数に基づく損失関数は、深層ニューラルネットワークの学習済み埋め込みの品質を向上させることができるか？
• RQ2 このような手法は、メトリック学習および分類のベンチマークの両方で最先端の性能を達成できるか？
• RQ3 近似最近傍計算を用いてすべての訓練特徴量をRBF中心として扱う場合、大規模データセットに対しても効果的にスケーリングできるか？
• RQ4 アーキテクチャの変更なしに、メトリック学習と分類の両方に対して有効な統一された損失関数を構築できるか？

主な発見

• 提案されたRBFソルバーは、距離メトリック学習のためのStanford Cars196データセットで最先端の性能を達成した。
• CUB-200-2011ファイングレイン認識データセットにおけるメトリック学習でも、新規の最先端の結果を樹立した。
• 分類器として使用した場合、オブジェクト認識のためのCaltech-256データセットで標準のソフトマックス分類器を上回った。
• CUB-200-2011ファイングレイン分類ベンチマークでも、精度においてソフトマックスを上回った。
• RBFソルバーによって形成された埋め込み空間は、訓練時に見られなかったクラスに対しても、意味的に類似したインスタンスの強力なクラスタリングを示した。