[論文レビュー] Deep Metric Transfer for Label Propagation with Limited Annotated Data

斌 刘, Zhirong Wu+2 more|arXiv (Cornell University)|Dec 20, 2018

Domain Adaptation and Few-Shot Learning参考文献 46被引用数 12

ひとこと要約

本論文では、関連するソースドメインで事前に学習された類似度メトリクスを活用することで、低ショット学習におけるラベル伝搬を向上させる深層メトリクス転送フレームワークを提案する。このメトリクスをターゲットドメインに転送し、少数のアノテート済み例から大規模な未ラベル付きデータセットへラベルを伝搬することで、半教師あり学習、転移学習、低ショット認識のあらゆる分野で顕著な性能向上が達成され、CIFAR-10ではクラスあたり5～10ラベルで最大20%の絶対的改善が得られた。

ABSTRACT

We study object recognition under the constraint that each object class is only represented by very few observations. Semi-supervised learning, transfer learning, and few-shot recognition all concern with achieving fast generalization with few labeled data. In this paper, we propose a generic framework that utilizes unlabeled data to aid generalization for all three tasks. Our approach is to create much more training data through label propagation from the few labeled examples to a vast collection of unannotated images. The main contribution of the paper is that we show such a label propagation scheme can be highly effective when the similarity metric used for propagation is transferred from other related domains. We test various combinations of supervised and unsupervised metric learning methods with various label propagation algorithms. We find that our framework is very generic without being sensitive to any specific techniques. By taking advantage of unlabeled data in this way, we achieve significant improvements on all three tasks.

研究の動機と目的

• 過剰適合のため標準的な教師あり学習が失敗するような、極めて限られたラベルデータにおけるオブジェクト認識の課題に対処すること。
• ラベルが乏しいため初期モデルの性能が低い状況で、疑似ラベル付けやメタラーニングといった従来手法が困難をきたす問題を克服すること。
• 半教師あり学習、転移学習、低ショット認識のタスクに一般化可能な汎用的で頑健なフレームワークを開発すること。
• ソースドメインから得た類似度メトリクスを転送することで、大規模な未ラベル付きデータセットへの効果的かつ信頼性の高いラベル伝搬が可能であることを示すこと。
• 低ショット学習において、ターゲットドメインの未ラベルデータが、ソースドメインのラベル付きデータよりも有益であるかどうかを調査すること。

提案手法

• ソースドメインで教師ありまたは教師なし（自己教師あり）学習を用いて深層メトリクスを事前学習し、汎用的な特徴類似度を捉えること。
• 事前学習したメトリクスを用いて、ターゲットドメインの少数のラベル付き例から、大規模な未ラベル付き画像セットへラベルを伝搬すること。
• スペクトルクラスタリングに基づくラベル伝搬を適用し、未ラベル付きセットに疑似ラベルを生成する。この際、転送されたメトリクスを類似度測定として使用する。
• 元のラベル付き例と伝搬された疑似ラベルから構成される拡張された訓練セット上で、標準的な教師あり分類器を微調整すること。
• スペクトル埋め込みプロセスにおける固有ベクトルの数（η）と温度（σ）といったハイパーパrameterを最適化し、頑健な性能を達成すること。
• CIFAR-10およびImageNetにおける半教師あり学習、ImageNetからCIFAR-10への転移学習、mini-ImageNetにおける低ショット認識の3つの異なる設定でフレームワークを評価すること。

実験結果

リサーチクエスチョン

• RQ1 ソースドメインから事前学習したメトリクスを転送することで、低ショット学習の文脈におけるラベル伝搬性能が顕著に向上するか？
• RQ2 少数のラベル付き例しか利用できない状況で、メトリクス転送は従来の疑似ラベル付けやメタラーニングと比較して優れているか？
• RQ3 低ショット認識において、ターゲットドメインの未ラベルデータは、ソースドメインのラベル付きデータよりも有用であるか？
• RQ4 低ショットタスクにおけるラベル伝搬において、教師なしメトリクス事前学習は教師ありメトリクス学習を上回るか？
• RQ5 スペクトルクラスタリングにおける固有ベクトルの数や温度といったハイパーパrameterに、ラベル伝搬フレームワークの性能がどれほど敏感であるか？

主な発見

• 提案されたメトリクス転送フレームワークは、半教師あり学習においてCIFAR-10でクラスあたり5～10ラベルの極めて少ないデータで、最先端手法を20%の絶対的向上を達成した。
• ImageNetからCIFAR-10への転移学習において、ベースラインの微調整手法と比較して10%の性能向上を達成した。
• mini-ImageNetにおける低ショット認識では、1ショットラベル付き例のみを用いても、既存のベースラインを6%上回る性能を達成した。
• 驚くべきことに、インスタンス識別を用いた教師なしメトリクス事前学習は、アノテーション付き教師ありメトリクス学習を0.5%（1ショット）および2%（5ショット）上回った。
• フレームワークは、メトリクス学習とラベル伝搬手法の組み合わせにかかわらず頑健に機能し、特定のコンponentに敏感でない高い汎用性を示した。
• アブレーションスタディにより、スペクトルクラスタリングにおける固有ベクトルの数（η）と温度（σ）が重要だがチューニング可能なパラメータであることが確認され、最適性能はη ∈ [30, 200]およびσ ∈ [10, 100]の範囲で得られた。