[論文レビュー] Online Deep Metric Learning.

Wenbin Li, Jing Huo+4 more|arXiv (Cornell University)|May 15, 2018

Face recognition and analysis参考文献 13被引用数 10

ひとこと要約

本稿では、オンラインメトリック学習層をReLU非線形性とともに段階的に積み重ねることで、段階的で非線形なメトリック学習を可能にする階層的フレームワーク、オンラインディープメトリック学習（ODML）を提案する。メトリック学習をディープアーキテクチャとしてモデル化することにより、ODMLは従来の浅い手法に比べて類似度学習のパフォーマンスを向上させ、ベンチマークデータセット上で優れた結果を示した。

ABSTRACT

Metric learning learns a metric function from training data to calculate the similarity or distance between samples. From the perspective of feature learning, metric learning essentially learns a new feature space by feature transformation (e.g., Mahalanobis distance metric). However, traditional metric learning algorithms are shallow, which just learn one metric space (feature transformation). Can we further learn a better metric space from the learnt metric space? In other words, can we learn metric progressively and nonlinearly like deep learning by just using the existing metric learning algorithms? To this end, we present a hierarchical metric learning scheme and implement an online deep metric learning framework, namely ODML. Specifically, we take one online metric learning algorithm as a metric layer, followed by a nonlinear layer (i.e., ReLU), and then stack these layers modelled after the deep learning. The proposed ODML enjoys some nice properties, indeed can learn metric progressively and performs superiorly on some datasets. Various experiments with different settings have been conducted to verify these properties of the proposed ODML.

研究の動機と目的

• 浅いメトリック学習の限界を克服し、メトリック空間の段階的・階層的学習を可能にすること。
• 既存のオンラインメトリック学習アルゴリズムが、ディープで非線形なメトリック学習アーキテクチャを形成するために積み重ね可能かどうかを検討すること。
• 連続的なメトリック変換を通じて、より良い特徴表現を学習するフレームワークを開発すること。
• 階層的メトリック学習が、実世界のデータセットにおける類似度測定の向上に有効であるかどうかを検証すること。

提案手法

• ODMLは、オンラインメトリック学習層を積み重ねることでディープアーキテクチャを構築し、各層が新しいメトリック空間への変換を学習する。
• 各層は、入力特徴を新しい空間に変換するためのメトリック学習アルゴリズム（例：オンラインマハラノビス学習）を適用する。
• 各メトリック層の後に非線形活性化（ReLU）を適用することで、非線形特徴空間の学習を可能にする。
• フレームワークはオンラインで訓練され、新しいデータが到着する度にメトリックを段階的に更新する。
• アーキテクチャはエンドツーエンドで訓練可能であり、バックプロパゲーションをメトリック層全体に伝播させ、階層全体を最適化できる。

実験結果

リサーチクエスチョン

• RQ1 オンラインメトリック学習を積み重ねることで、ディープで階層的なメトリック学習フレームワークを構築できるか？
• RQ2 非線形性を有するメトリック層を積み重ねることで、浅いメトリック学習に比べて類似度表現が向上するか？
• RQ3 提案されたフレームワークは、オンライン設定において段階的かつ適応的にメトリックを学習できるか？
• RQ4 ODMLのパフォーマンスは、標準ベンチマークにおいて従来のメトリック学習手法と比べてどうか？

主な発見

• ODMLは、従来の浅いメトリック学習手法に比べて、複数のベンチマークデータセットで優れたパフォーマンスを達成した。
• メトリック層の階層的積み重ねにより、より判別力のある特徴表現の段階的学習が可能になった。
• 各メトリック層の後にReLU非線形性を統合することで、非線形類似度学習の能力が向上した。
• 実験により、ODMLのオンライン学習方式が、インクリメンタル学習のシナリオにおいて有効かつスケーラブルであることが確認された。