[論文レビュー] Learning to Learn in a Semi-Supervised Fashion

Yun-Chun Chen, Chao-Te Chou+1 more|arXiv (Cornell University)|Aug 25, 2020

Video Surveillance and Tracking Methods参考文献 97被引用数 5

ひとこと要約

本論文は、ラベル付きデータとラベルなしデータのラベル集合が重複しない（人物再識別や画像検索で一般的）半教師あり画像照合のための新規メタラーニングフレームワークを提案する。クラスごとの類似度スコアをフィットさせる代わりに、ラベル付きデータから意味論的指向の類似度表現を学習し、それをラベルなしデータに転送することで、自己教師ありの偽ラベル付与を可能にし、半教師あり設定下でMarket-1501およびDukeMTMC-reIDで最先端の性能を達成する。

ABSTRACT

To address semi-supervised learning from both labeled and unlabeled data, we present a novel meta-learning scheme. We particularly consider that labeled and unlabeled data share disjoint ground truth label sets, which can be seen tasks like in person re-identification or image retrieval. Our learning scheme exploits the idea of leveraging information from labeled to unlabeled data. Instead of fitting the associated class-wise similarity scores as most meta-learning algorithms do, we propose to derive semantics-oriented similarity representations from labeled data, and transfer such representation to unlabeled ones. Thus, our strategy can be viewed as a self-supervised learning scheme, which can be applied to fully supervised learning tasks for improved performance. Our experiments on various tasks and settings confirm the effectiveness of our proposed approach and its superiority over the state-of-the-art methods.

研究の動機と目的

• ラベル付きデータとラベルなしデータのカテゴリが重複しない画像照合タスクにおける半教師あり学習を解決すること。
• ラベルなしクラスの数に関する事前知識が不要な状態で、ラベル付きデータから得た意味論的類似度表現をラベルなしデータに転送する手法を開発すること。
• 意味的で意味のある類似度表現を導出し、それらがラベルなしデータの特徴学習をガイドすることで、自己教師あり学習を可能にすること。
• 限定的な監視下での人物再識別および画像検索の性能を向上させること。
• 提案手法を完全教師あり設定へ拡張し、より広範な適用可能性を示すこと。

提案手法

• 本手法は、ランダムに抽出されたラベル付き画像ペairを用いて訓練されたメタラーニングスキームにより、意味論的指向の類似度表現を学習する。
• 類似した画像が高い類似度スコアを持ち、類似しない画像が低いスコアを持つように、学習された表現空間で類似度を促進するコントラスト学習目的関数を用いる。
• 学習された類似度表現をラベルなしデータに転送し、クラスの重複がなくても特徴学習をガイドし、偽ラベル付与を可能にする。
• ラベル付きデータにおける教師ありコントラスト損失と、ラベルなしデータにおける自己教師ありコントラスト損失を組み合わせて、エンドツーエンドでフレームワークを訓練する。
• 既存の深層メトリクス学習モデル（例：AlignedReID や BoT）と互換性があり、提案されたメタラーニング戦略を統合することで性能向上が可能である。
• ラベル付きデータから学習した意味構造を活用することで、ラベルなしデータの表現学習を自己教師ありの形で行う。

実験結果

リサーチクエスチョン

• RQ1 ラベル付きデータとラベルなしデータのラベル集合が非重複である状況下で、メタラーニングフレームワークが意味論的類似度表現を効果的にラベルなしデータに転送できるか。
• RQ2 意味論的指向の類似度表現を学習することで、半教師あり人物再識別および画像検索の性能がどの程度向上するか。
• RQ3 提案手法が完全教師あり設定へどの程度一般化可能か。また、既存の最先端モデルを上回る性能を示すか。
• RQ4 ラベルなしクラスの数に関する事前知識がなくても、効果的な偽ラベル付与が可能か。
• RQ5 半教師ありおよび完全教師あり設定の両方で、モデルの性能が既存の最先端手法と比較してどの程度優れているか。

主な発見

• Market-1501データセットでは、AlignedReIDと組み合わせた場合、Rank-1正答率が91.1%、mAPが78.1%に達し、ベースモデルを上回った。
• DukeMTMC-reIDでは、AlignedReIDと組み合わせた場合、Rank-1正答率が81.7%、mAPが67.7%に達し、一貫した向上が確認された。
• BoTと組み合わせた場合、Market-1501でRank-1正答率94.8%、mAP86.1%を達成し、元のBoT性能を上回った。
• DukeMTMC-reIDでは、BoTと組み合わせてRank-1が86.6%、mAPが76.8%を達成し、異なるデータセット間でも強力な一般化性能を示した。
• 半教師あり設定下で、Market-1501およびDukeMTMC-reIDの両方で最先端の性能を達成し、既存のSOTA手法を上回った。
• t-SNEによる可視化により、学習された意味論的指向の類似度表現が、ラベルなしデータ空間における特徴埋め込みをより明確に分離していることが確認された。