[論文レビュー] Directional Statistics-based Deep Metric Learning for Image Classification and Retrieval

Xuefei Zhe, Shifeng Chen+1 more|arXiv (Cornell University)|Feb 27, 2018

Face recognition and analysis参考文献 25被引用数 6

ひとこと要約

本論文は、方向統計を用いた新しい深層度画像学習手法を提案する。L2正規化された埋め込み空間において、ユークリッド距離の代わりにコサイン類似度を用い、ボン・ミーゼス・フィッシャー（vMF）損失関数により、超球面上のクラス分布をモデル化することで、画像分類およびリtrieval性能を向上させる。この手法により、より単純な学習とより優れた一般化性能を実現し、特に浅いネットワークにおいて最先端の結果を達成する。

ABSTRACT

Deep distance metric learning (DDML), which is proposed to learn image similarity metrics in an end-to-end manner based on the convolution neural network, has achieved encouraging results in many computer vision tasks.$L2$-normalization in the embedding space has been used to improve the performance of several DDML methods. However, the commonly used Euclidean distance is no longer an accurate metric for $L2$-normalized embedding space, i.e., a hyper-sphere. Another challenge of current DDML methods is that their loss functions are usually based on rigid data formats, such as the triplet tuple. Thus, an extra process is needed to prepare data in specific formats. In addition, their losses are obtained from a limited number of samples, which leads to a lack of the global view of the embedding space. In this paper, we replace the Euclidean distance with the cosine similarity to better utilize the $L2$-normalization, which is able to attenuate the curse of dimensionality. More specifically, a novel loss function based on the von Mises-Fisher distribution is proposed to learn a compact hyper-spherical embedding space. Moreover, a new efficient learning algorithm is developed to better capture the global structure of the embedding space. Experiments for both classification and retrieval tasks on several standard datasets show that our method achieves state-of-the-art performance with a simpler training procedure. Furthermore, we demonstrate that, even with a small number of convolutional layers, our model can still obtain significantly better classification performance than the widely used softmax loss.

研究の動機と目的

• 深層度画像学習におけるユークリッド距離とL2正規化された埋め込み空間の間の不一致を解消すること。
• 複雑なデータフォーマットを必要とし、グローバル構造の認識に欠ける、三重項ベースの損失関数の限界を克服すること。
• 方向統計を活用することで、より効率的かつ一般化性の高い深層度画像学習の訓練手順を開発すること。
• より単純でエンドツーエンドで訓練可能なフレームワークを用いて、画像分類およびリtrievalタスクの性能を向上させること。

提案手法

• L2正規化された埋め込み空間において、ユークリッド距離の代わりにコサイン類似度を用いることで、超球面の幾何構造とより整合性をとる。
• クラス固有の方向分布を超球面上にモデル化するため、ボン・ミーゼス・フィッシャー（vMF）分布に基づく新しい損失関数を提案する。
• vMF損失を効率的に最適化できる代替学習アルゴリズムを導入し、安定的かつ効果的な訓練を可能にする。
• 集中パラメータ κ を用いて、埋め込み空間内でのクラス分布の平均方向まわりの集中度を制御する。
• クラス平均方向間の平均コサイン類似度を用いて、クラス間分離度および一般化性能を分析する。
• 複雑なデータサンプリングや事前処理を必要とせず、標準的なCNNアーキテクチャにvMF損失を適用する。

実験結果

リサーチクエスチョン

• RQ1 方向統計は、L2正規化された埋め込み空間における深層度画像学習をどのように改善できるか？
• RQ2 vMFに基づく損失関数は、従来の三重項損失および対照的損失を上回る性能を達成できるか？
• RQ3 集中パラメータ κ の選択が、モデルの一般化性能およびリtrieval性能に与える影響は何か？
• RQ4 浅いネットワークをvMF損失で学習した場合、標準的なソフトマックス損失を用いた深層モデルと比較して、どの程度の性能を達成できるか？
• RQ5 提案手法は、ゼロショットまたはフェイントショット学習のシナリオにおいても良好に一般化できるか？

主な発見

• vMF損失は、複数の標準データセットにおいて、画像分類およびリtrievalタスクの両方で最先端の性能を達成する。
• CUB-200-2011データセットでは、movMF-hardクラスタリング手法を用いたvMFモデルが、平均正解率58.89%、Recall@1が64.33%を達成した。
• Cars196およびCUB-200-2011データセットにおいて、リtrieval性能でベースラインクラスタリング手法[11]をそれぞれ3.39%および5.10%上回った。
• リtrieval性能がκ ≈ 30–40でピークに達することから、クラスの密着性と一般化性能の最適なバランスが存在することが示された。
• 浅い畳み込みネットワークでさえも優れた性能を達成でき、強いインダクティブバイアスと一般化性能を示した。
• 平均集中パラメータ ˆκ はリtrieval性能と逆相関関係にあり、クラス分布がやや広がっている場合に一般化性能が向上することが示唆された。