[論文レビュー] Deep Triplet Ranking Networks for One-Shot Recognition

Meng Ye, Yuhong Guo|arXiv (Cornell University)|Apr 19, 2018

Domain Adaptation and Few-Shot Learning参考文献 25被引用数 31

ひとこと要約

本稿では、三つ組み順序付け損失を用いて普遍的な画像埋め込みを学習する深層三つ組み順序付けネットワークを提案し、ワンショット画像分類を可能にする。データ拡張を通じてワンショットインスタンスを統合し、三つ組みの相対的類似度を最適化することで、OmniglotおよびminiImageNetで最先端の性能を達成した。

ABSTRACT

Despite the breakthroughs achieved by deep learning models in conventional supervised learning scenarios, their dependence on sufficient labeled training data in each class prevents effective applications of these deep models in situations where labeled training instances for a subset of novel classes are very sparse -- in the extreme case only one instance is available for each class. To tackle this natural and important challenge, one-shot learning, which aims to exploit a set of well labeled base classes to build classifiers for the new target classes that have only one observed instance per class, has recently received increasing attention from the research community. In this paper we propose a novel end-to-end deep triplet ranking network to perform one-shot learning. The proposed approach learns class universal image embeddings on the well labeled base classes under a triplet ranking loss, such that the instances from new classes can be categorized based on their similarity with the one-shot instances in the learned embedding space. Moreover, our approach can naturally incorporate the available one-shot instances from the new classes into the embedding learning process to improve the triplet ranking model. We conduct experiments on two popular datasets for one-shot learning. The results show the proposed approach achieves better performance than the state-of-the- art comparison methods.

研究の動機と目的

• 新しいクラスごとに1つのラベル付き例しか利用できないワンショット画像分類の課題に対処すること。
• 絶対的類似度ベースの手法の限界を克服するため、三つ組み順序付けを通じて相対的類似度を学習すること。
• 合成データ拡張を用いてワンショットインスタンスを訓練プロセスに統合することで、モデルの一般化能力を向上させること。
• 少数ショットおよびワンショット認識のためのクラスに依存しない埋め込みを学習するエンドツーエンドのディープラーニングフレームワークを構築すること。

提案手法

• アーキテクチャとポジティブサンプルの間の距離がネガティブサンプルとの距離より小さくなるように制約を課す三つ組み順序付け損失を用いて、深層畳み込みニューラルネットワークを訓練する。
• 特徴抽出に共有重みを持つシアン・アーキテクチャを採用し、その後に全結合層を配置して画像埋め込みを生成する。
• 回転、スケーリングなどのデータ拡張技術を適用して合成例を生成することで、ワンショットインスタンスを訓練プロセスに統合する。
• 拡張されたワンショットインスタンスを用いて事前学習済みの三つ組みネットワークをファインチューニングすることで、埋め込み品質と一般化能力を向上させる。
• 分類に中間畳み込み層の特徴を用いるが、より高レベルの特徴がより高い性能を示す。
• 主成分分析（PCA）を用いて学習済み埋め込みを可視化し、シアン・ネットワーク、三つ組みネットワーク、ファインチューニング付き三つ組みネットワークのクラスタリング品質を比較する。

実験結果

リサーチクエスチョン

• RQ1 三つ組み順序付けによる相対的類似度学習は、絶対的類似度ベースの手法と比較してワンショット分類性能を向上させることができるか？
• RQ2 ワンショットインスタンスを訓練プロセスに統合することで、埋め込みモデルの一般化能力にどのような影響を与えるか？
• RQ3 より深い層からの中間特徴表現は、ワンショット分類精度にどの程度寄与するか？
• RQ4 提案手法は、OmniglotおよびminiImageNetといった標準的なワンショット学習ベンチマークで最先端の性能を達成できるか？

主な発見

• ファインチューニングを施した提案された深層三つ組み順序付けネットワークは、OmniglotおよびminiImageNetの両データセットで最高のテスト精度を達成し、既存の最先端手法を上回った。
• PCAによる埋め込み可視化の結果、ファインチューニング付き三つ組み順序付けモデルは全5クラスに対して明確に分離されたクラスタを生成したが、シアンネットワークは5クラス中3クラスを区別できなかった。
• より深い畳み込み層（例：conv-4-3）からの中間特徴は、浅い層よりも顕著に高い精度（85.8%）を示し、階層的抽象化の利点を裏付けた。
• Omniglotでは、埋め込みベクトル全体を用いた最終全結合層（fc-1）が97.0%の最高分類精度を達成した。
• 相対的類似度を学習できることで、類似クラス間の視覚的変動に対してより頑健な性能を発揮し、可視化結果でも視覚的に類似した文字が良好に分離されていることが示された。