[論文レビュー] Domain segmentation and adjustment for generalized zero-shot learning

Xinsheng Wang, Shanmin Pang+1 more|arXiv (Cornell University)|Feb 1, 2020

Domain Adaptation and Few-Shot Learning参考文献 39被引用数 6

ひとこと要約

本論文は、生成モデルや未知の意味的データに依存せずに、一般化零-shot学習（GZSL）のためのドメイン分離と調整フレームワークを提案する。ソフトマックスの信頼度しきい値と極値理論（EVT）を組み合わせて分布分析を行い、テストサンプルを既知、未知、および不確実なドメインに分類し、不確実領域の予測を補正するキャリブレートド スタッキング（CS）を適用することで、生成モデルや未知クラス情報を利用せずに5つのベンチマークで新たな最先端性能を達成した。

ABSTRACT

In the generalized zero-shot learning, synthesizing unseen data with generative models has been the most popular method to address the imbalance of training data between seen and unseen classes. However, this method requires that the unseen semantic information is available during the training stage, and training generative models is not trivial. Given that the generator of these models can only be trained with seen classes, we argue that synthesizing unseen data may not be an ideal approach for addressing the domain shift caused by the imbalance of the training data. In this paper, we propose to realize the generalized zero-shot recognition in different domains. Thus, unseen (seen) classes can avoid the effect of the seen (unseen) classes. In practice, we propose a threshold and probabilistic distribution joint method to segment the testing instances into seen, unseen and uncertain domains. Moreover, the uncertain domain is further adjusted to alleviate the domain shift. Extensive experiments on five benchmark datasets show that the proposed method exhibits competitive performance compared with that based on generative models.

研究の動機と目的

• 生成モデルや未知の意味的情報に依存せずに、一般化零-shot学習（GZSL）におけるドメインシフトを解消すること。
• 学習時に既知クラスのみで訓練された視覚空間に、未知の意味的埋め込みを投影することによって生じるバイアスを軽減すること。
• テスト時におけるドメイン分離を実現する、強力でデータ駆動型の方法を開発し、既知、未知、および不確実なサンプルを分離すること。
• キャリブレートド スタッキング（CS）を用いて不確実ドメインでの予測を調整することで、一般化性能を向上させること。
• 合成された未知データとCSの有効性を実証的に比較し、生成モデルがGZSLに不可欠であるという仮定に疑問を呈すること。

提案手法

• 既知クラスで訓練されたソフトマックス分類器により、テストインスタンスの信頼度スコアを取得する。
• 極値理論（EVT）を用いて、各既知クラスの視覚特徴の尾部分布をモデル化し、分布外サンプルを示す極値を同定する。
• ソフトマックスの信頼度とEVTに基づく異常スコアを組み合わせた、共同しきい値と確率的分布法により、テストインスタンスを3つのドメイン（既知、未知、不確実）に分類する。
• 不確実ドメインのサンプルに対しては、キャリブレートド スタッキング（CS）を適用し、既知クラスと未知クラスのプロトタイプへの予測距離のバランスを取る。
• 学習中に未知クラスの意味的ベクトルを一切使用せず、ZSLの仮定（未知クラスは学習時に観測されない）を維持する。
• フレームワークは、未知クラスデータにアクセスせずに、5つの標準GZSLベンチマークでエンドツーエンドに評価された。

実験結果

リサーチクエスチョン

• RQ1 信頼度と分布分析に基づくドメイン分離は、GZSLにおける既知、未知、不確実なテストサンプルを効果的に分離できるか？
• RQ2 キャリブレートド スタッキング（CS）は、生成モデルの効果を上回るか、あるいは模倣できるか？
• RQ3 生成モデルを用いて合成された未知データの使用は、GZSLにとって真に有益であるのか、それとも意図しないバイアスをもたらすのか？
• RQ4 生成モデルや未知の意味的情報に依存する最先端のアプローチと比較して、本手法はどのように差をつけるか？
• RQ5 生成モデルを用いないシンプルな手法が、ドメイン分離と不確実性調整に注力することで、GZSLで最先端の性能を達成できるか？

主な発見

• 提案手法は、未知クラス情報を利用せずに、5つのベンチマークデータセット（awa1, awa2, aPY, CUB, FLO）で新たな最先端性能を達成した。
• FLOデータセットでは、平均クラスごとのトップ1正答率が61.8%に達し、ベースライン（38.4%）およびf-CLSWGANを用いたベースライン（45.5%）を大きく上回った。
• キャリブレートド スタッキング（CS）単体でもFLOで61.8%の正答率を達成し、f-CLSWGANで生成されたデータを用いた場合（45.5%）を上回った。これは、この設定においてCSがデータ拡張よりも効果的であることを示している。
• ベースラインモデルは、ドメインシフトのため、37.4%の未知インスタンスを既知クラスとして予測していたが、本手法はドメイン分離とCSにより、この誤りを顕著に低減した。
• 予測距離の分布から、CSが不確実領域における既知クラスへのバイアスを効果的に低減しており、一般化性能の向上に寄与していることがわかった。
• 結果から、生成モデルがGZSLに最適ではない可能性が示唆された。生成モデルのジェネレータは、学習時に既知クラスのデータのみで訓練されるため、既知クラスの認識性能を逆に損なう可能性があり、CSが是正する効果に類似している。