[論文レビュー] Transferable Contrastive Network for Generalized Zero-Shot Learning

Huajie Jiang, Ruiping Wang+2 more|arXiv (Cornell University)|Aug 16, 2019

Domain Adaptation and Few-Shot Learning参考文献 42被引用数 23

ひとこと要約

本稿では、一般化ゼロショット学習（GZSL）のための転送可能対照的ネットワーク（TCN）を提案する。TCNは、クラス類似度を用いて対照学習を通じて、ソースクラスからターゲットクラスへ知識を明示的に転送する。判別性と転送可能性の両方を同時に最適化することで、ソースクラスへの過剰適合を低減し、5つのベンチマークデータセットで最先端の性能を達成する。

ABSTRACT

Zero-shot learning (ZSL) is a challenging problem that aims to recognize the target categories without seen data, where semantic information is leveraged to transfer knowledge from some source classes. Although ZSL has made great progress in recent years, most existing approaches are easy to overfit the sources classes in generalized zero-shot learning (GZSL) task, which indicates that they learn little knowledge about target classes. To tackle such problem, we propose a novel Transferable Contrastive Network (TCN) that explicitly transfers knowledge from the source classes to the target classes. It automatically contrasts one image with different classes to judge whether they are consistent or not. By exploiting the class similarities to make knowledge transfer from source images to similar target classes, our approach is more robust to recognize the target images. Experiments on five benchmark datasets show the superiority of our approach for GZSL.

研究の動機と目的

• ソースカテゴリへの強いバイアスが原因で、未観測のターゲットクラスで性能が低下する一般化ゼロショット学習（GZSL）における過剰適合問題に対処すること。
• ソースクラスの画像から、意味的に類似したターゲットクラスへ知識を明示的に転送することで、新規カテゴリへの一般化を向上させること。
• 判別能力とクラス間の転送可能性の両方を同時に最適化する対照学習フレームワークを設計すること。
• クラス類似度を知識転送のメカニズムとして活用し、ターゲットクラスのラベルなしで、ターゲットクラス画像の認識を堅牢に行えるようにすること。

提案手法

• 画像とクラス意味表現の間でエンドツーエンドの対照学習を実行する、新しい転送可能対照的ネットワーク（TCN）を提案する。
• 二重最適化目的を導入：正しい画像-クラスペアの対照値を最大化（判別性）し、一貫性のないペアの値を最小化（転送可能性）する。
• 学習されたクラス類似度を用いて、訓練中にソース画像から意味的に類似したターゲットクラスへ知識を転送する。
• 画像とその真のクラスとの類似度を高め、不一致クラスとの類似度を抑制する対照損失を採用する。
• 属性を意味的情報として用い、クラス関係を定義し、クラス間の知識転送を可能にする。
• 推論時に対照スコアを正規化し、すべてのソースおよびターゲットクラスにわたる効果的なゼロショット分類を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ソースクラスからターゲットクラスへの明示的知識転送は、一般化ゼロショット学習における一般化性能を向上させることができるか？
• RQ2 対照学習をどのように設計すれば、未観測クラスへの判別性能と転送可能性のバランスをとることができるか？
• RQ3 ターゲットクラスのラベルデータが存在しない状況で、クラス類似度はモデルの堅牢性をどの程度向上させるか？
• RQ4 判別性と転送可能性の両方を同時に最適化することで、GZSLにおけるソースカテゴリへの過剰適合が軽減されるか？

主な発見

• TCNは、AWA1、CUB、SUN、APY、FLOWERSの5つのベンチマークデータセットで最先端の性能を達成し、GZSL設定において既存手法を上回る。
• AWA1では、ゼロショット精度が52.1%に達し、前回のSOTA手法を1.8%上回る。
• CUBでは、ゼロショット精度が58.3%に達し、2番目に良い手法よりも2.4%高い。
• モデルはGZSLにおいて強い堅牢性を示し、そのクラスの訓練画像が存在しない場合でも、ターゲットクラスのサンプルを効果的に認識できる。
• 可視化の結果、TCNは正しいクラスに対して高い対照スコア、誤ったクラスに対しては低いスコアを生成しており、効果的な判別と転送可能性が裏付けられている。
• 粗粒度のデータセット（例：APY）では一部のクラス類似度が信頼性に欠けるものの、TCNは依然として競争力のある性能を達成しており、ノイズの多い意味的関係に対しても耐性があることが示された。