[論文レビュー] Adaptive Confidence Smoothing for Generalized Zero-Shot Learning

Yuval Atzmon, Gal Chechik|arXiv (Cornell University)|Dec 24, 2018

Domain Adaptation and Few-Shot Learning参考文献 64被引用数 7

ひとこと要約

本論文は、視認クラス分類器、ゼロショット分類器、および信頼度に基づくゲーティングネットワークを統合する柔らかい予測統合を可能にするモジュラー確率的フレームワーク、Adaptive Confidence Smoothing (COSMO) を提案する。COSMO は、4 つのベンチマーク (AWA, SUN, CUB, FLOWER) で最先端の性能を達成し、GAN を用いたアプローチよりも単純で学習が容易である一方で、複雑な生成モデルをも凌駃する新しい SOTA 結果を達成した。

ABSTRACT

Generalized zero-shot learning (GZSL) is the problem of learning a classifier where some classes have samples and others are learned from side information, like semantic attributes or text description, in a zero-shot learning fashion (ZSL). Training a single model that operates in these two regimes simultaneously is challenging. Here we describe a probabilistic approach that breaks the model into three modular components, and then combines them in a consistent way. Specifically, our model consists of three classifiers: A "gating" model that makes soft decisions if a sample is from a "seen" class, and two experts: a ZSL expert, and an expert model for seen classes. We address two main difficulties in this approach: How to provide an accurate estimate of the gating probability without any training samples for unseen classes; and how to use expert predictions when it observes samples outside of its domain. The key insight to our approach is to pass information between the three models to improve each one's accuracy, while maintaining the modular structure. We test our approach, adaptive confidence smoothing (COSMO), on four standard GZSL benchmark datasets and find that it largely outperforms state-of-the-art GZSL models. COSMO is also the first model that closes the gap and surpasses the performance of generative models for GZSL, even-though it is a light-weight model that is much easier to train and tune. Notably, COSMO offers a new view for developing zero-shot models. Thanks to COSMO's modular structure, instead of trying to perform well both on seen and on unseen classes, models can focus on accurate classification of unseen classes, and later consider seen class models.

研究の動機と目的

• 視認クラスにおける教師あり学習と未視認クラスにおけるゼロショット学習を、一つの一貫性のあるモデルで統合する課題に対処すること。
• 視認クラス専門家と未視認クラス専門家の予測を、柔らかく信頼度に配慮した方法で統合することで、GZSL における一般化性能とロバストネスを向上させること。
• 大規模なトレーニングやハイパーパrameterチューニングを必要とせず、複雑な生成モデルを凌駃する軽量でモジュラーなフレームワークを構築すること。

提案手法

• GZSL を、視認クラス分類器、ゼロショット分類器、および視認／未視認ドメインを識別する二値ゲーティングネットワークという 3 つのモジュラーなコンponent に分解する。
• 両方の専門家から得られるソフトマックスの信頼度スコアを活用し、サンプルが視認ドメインに属する確率を推定する信頼度ベースゲーティング (CB-Gating) ネットワークを用いる。
• ゲーティングネットワークの信頼度に応じて動的に調整されるスムージング重みを持つラプラスに類似した事前分布を導入することで、適応的信頼度スムージングを実装する。
• 全確率の法則を用いて専門家の予測を組み合わせる：p(class) = p(class|seen)p(seen) + p(class|unseen)p(unseen)，ゲーティングモジュールからのソフトウェートを適用する。
• 実際の未視認サンプルが存在しない状況でも、保持されたトレーニングクラスからの模擬的な未視認応答を用いてゲーティングネットワークを訓練することで、p(unseen) を推定可能にする。
• OoD 検出の向上とゼロショット専門家の過信のない誤検出の防止を目的として、専門家の予測をクラスに依存しない表現として導入する。

実験結果

リサーチクエスチョン

• RQ1 トレーニング中に実際の未視認クラスのサンプルが存在しない状況でも、視認クラスと未視認クラスの分類器の柔らかく確率的に整合性のある統合を実現する方法は何か？
• RQ2 信頼度ベースゲーティング機構を用いることで、視認分布と未視認分布を区別する際の GZSL モデルの精度とロバストネスにどのような影響を与えるか？
• RQ3 適応的信頼度スムージングは、ゲーティングネットワークと組み合わせることで、OoD サンプルに対するゼロショット分類器のキャリブレーションを改善し、過信を軽減できるか？
• RQ4 提案されたモジュラーフレームワークは、複雑な生成モデルを含む最先端モデルをどれほど凌駃するか？
• RQ5 ゲーティング、スムージング、専門家モデルという個々のコンponent は、全体の性能向上にどのように相互に作用し、相乗効果を生じるか？

主な発見

• COSMO は、4 つの標準的な GZSL ベンチマーク（AWA, SUN, CUB, FLOWER）において、全てもって新しい SOTA の AUSUC スコアを達成した。
• AWA データセットでは、COSMO が 63.6% の H-精度を達成し、従来の SOTA である Independent-Hard ベースラインの 58.3% を上回った。
• SUN データセットでは、COSMO が 41.0% の H-精度に達し、Independent-Hard ベースラインの 35.1% より顕著な向上を示した。
• CUB では、COSMO が 50.2% の H-精度を達成し、Independent-Hard ベースラインの 44.6% を上回り、優れた一般化性能を示した。
• 適応的信頼度スムージングにより、CUB では定数スムージングやスムージングなしのケースと比較して最大 1.2% の相対的向上が得られ、AWA では 1.4% の向上が確認された。
• アブレーションスタディの結果、信頼度ベースゲーティングと適応的スムージングの両方が不可欠であり、組み合わせによる性能が最も高く、わずかだが測定可能な相乗効果が確認された。