[論文レビュー] Hardness Sampling for Self-Training Based Transductive Zero-Shot Learning

Bo Liu, Qiulei Dong+1 more|arXiv (Cornell University)|Jun 1, 2021

Domain Adaptation and Few-Shot Learning参考文献 50被引用数 5

ひとこと要約

本論文は、推論頻度と事前確率正規化頻度に基づいて、予測が困難で多様な未学習クラスのサンプルを繰り返し選択することで、性能を向上させる、伝達的ゼロショット学習（T-ZSL）のための自己学習フレームワークであるSTHSを提案する。この手法は、3つのベンチマークで最先端の手法を著しく上回り、より厳しいT-GZSL評価設定においても競争力のあるベースラインを確立する。

ABSTRACT

Transductive zero-shot learning (T-ZSL) which could alleviate the domain shift problem in existing ZSL works, has received much attention recently. However, an open problem in T-ZSL: how to effectively make use of unseen-class samples for training, still remains. Addressing this problem, we first empirically analyze the roles of unseen-class samples with different degrees of hardness in the training process based on the uneven prediction phenomenon found in many ZSL methods, resulting in three observations. Then, we propose two hardness sampling approaches for selecting a subset of diverse and hard samples from a given unseen-class dataset according to these observations. The first one identifies the samples based on the class-level frequency of the model predictions while the second enhances the former by normalizing the class frequency via an approximate class prior estimated by an explored prior estimation algorithm. Finally, we design a new Self-Training framework with Hardness Sampling for T-ZSL, called STHS, where an arbitrary inductive ZSL method could be seamlessly embedded and it is iteratively trained with unseen-class samples selected by the hardness sampling approach. We introduce two typical ZSL methods into the STHS framework and extensive experiments demonstrate that the derived T-ZSL methods outperform many state-of-the-art methods on three public benchmarks. Besides, we note that the unseen-class dataset is separately used for training in some existing transductive generalized ZSL (T-GZSL) methods, which is not strict for a GZSL task. Hence, we suggest a more strict T-GZSL data setting and establish a competitive baseline on this setting by introducing the proposed STHS framework to T-GZSL.

研究の動機と目的

• 伝達的ゼロショット学習（T-ZSL）における未解決問題に取り組む：未学習クラスのラベルなしサンプルを効果的に訓練に活用する方法を模索する。
• 分類の難易度が異なる未学習クラスのサンプルが、ZSLモデル性能の向上にどのように寄与するかを調査する。
• 訓練時およびテスト時に見つけることのできない見知らぬクラスと既知クラスを区別できない、より厳密なT-GZSLのデータ設定を提案する。
• 任意のインダクティブZSL手法とハードネスサンプリングを統合し、反復的な最適化を実現する柔軟な自己学習フレームワークSTHSを設計する。
• 提案されたSTHSフレームワークを用いて、新しい厳密な評価プロトコル下でのT-GZSLのための競争力のあるベースラインを確立する。

提案手法

• 初期のZSLモデルが未学習クラスデータに対して予測するクラスレベルの頻度を分析することで、ハードなサンプルを同定する。
• 真のクラス事前確率を近似するための推定アルゴリズムを導入し、この推定値を用いて予測頻度を正規化することで、サンプル選択の精度を向上させる。
• 2つのハードネスサンプリング戦略を提案する：CFBS（クラス頻度ベースのサンプリング）とPN-CFBS（事前確率正規化CFBS）、両者とも予測頻度が低い困難なクラスからのサンプルを優先する。
• STHSフレームワークは任意のインダクティブZSL手法を統合し、未学習クラスセットから選択されたハードなサンプルを用いて反復的自己学習を実行する。
• 訓練時に既知・未学習クラスの両方を含む統合された既知・未学習テストセットを用いることで、T-GZSLに一般化する。この際、モデルはクラス識別情報なしに両方のクラスを同時に予測しなければならない。
• 一般化設定ではWGANベースのモデルを用い、得られた手法をSTHS-GZSLと命名する。

実験結果

リサーチクエスチョン

• RQ1 分類の難易度（分類困難度）が異なる未学習クラスからのサンプルは、伝達的訓練中にZSLモデル性能の向上にどのように寄与するか？
• RQ2 モデルの予測頻度と事前確率正規化頻度を用いて、自己学習のための効果的なハードで多様な未学習クラスのサンプルを特定できるか？
• RQ3 特に長尾分布や多数のクラスを含むデータセットにおいて、事前確率推定の品質が自己学習の性能に与える影響は何か？
• RQ4 テストセットが事前に既知クラスと未学習クラスに分離されていない場合、T-ZSL手法の性能はどのように低下するか？また、このより厳しい設定下でも頑健なベースラインを確立できるか？
• RQ5 提案されたSTHSフレームワークはT-GZSLに一般化可能であり、新しい評価プロトコル下で既存手法を上回る性能を達成できるか？

主な発見

• PN-CFBSサンプリングを用いたSTHSフレームワークは、厳密なT-GZSL設定下でAWA2で91.4%の正確度を達成し、ベースラインのWGAN（87.5%）とST-WGAN-RS（75.1%）を著しく上回った。
• AWA2データセットでは、PN-CFBSがCFBSよりも2.5ポイントの性能向上を示し、長尾分布設定下での事前確率正規化の有効性を裏付けた。
• CFBSを用いたSTHSフレームワークは、AWA2で88.9%、WGANで89.8%の正確度を達成し、3つのベンチマークすべてで複数の最先端手法を上回った。
• 厳密なT-GZSL設定下で、STHS-GZSLはAWA2で85.4%の正確度を達成し、ST-WGAN-RS（75.1%）を上回り、評価プロトコルの難易度が高まっても頑健であることが示された。
• CUBおよびSUNでは、PN-CFBSの性能がCFBSよりわずかに劣ったが、これは多数のクラスと1クラスあたりのサンプル数が少ないデータセットでは事前確率推定が困難であることを示唆している。
• 結果から、予測頻度が低いクラスからのハードなサンプルが自己学習により効果的であり、ハードクラスの多様性がモデルの一般化性能の向上に寄与することが確認された。