[論文レビュー] Information Bottleneck Constrained Latent Bidirectional Embedding for Zero-Shot Learning

Yang Liu, Lei Zhou+4 more|arXiv (Cornell University)|Sep 16, 2020

Domain Adaptation and Few-Shot Learning参考文献 77被引用数 5

ひとこと要約

本論文は、ゼロショット学習のための情報ボトルネック制約付き双方向生成モデルを提案する。このモデルは、視覚的特徴と意味的特徴を統合された潜在空間に同時に最適化することで、重要な属性情報の保持によりキャリブレーションのずれやハブネスを低減する。不確実性推定とウェークスリープトレーニングを活用することでノイズを軽減し、抽象化能力を向上させ、複数のベンチマークで最先端の性能を達成する。

ABSTRACT

Zero-shot learning (ZSL) aims to recognize novel classes by transferring semantic knowledge from seen classes to unseen classes. Though many ZSL methods rely on a direct mapping between the visual and the semantic space, the calibration deviation and hubness problem limit the generalization capability to unseen classes. Recently emerged generative ZSL methods generate unseen image features to transform ZSL into a supervised classification problem. However, most generative models still suffer from the seen-unseen bias problem as only seen data is used for training. To address these issues, we propose a novel bidirectional embedding based generative model with a tight visual-semantic coupling constraint. We learn a unified latent space that calibrates the embedded parametric distributions of both visual and semantic spaces. Since the embedding from high-dimensional visual features comprise much non-semantic information, the alignment of visual and semantic in latent space would inevitably been deviated. Therefore, we introduce information bottleneck (IB) constraint to ZSL for the first time to preserve essential attribute information during the mapping. Specifically, we utilize the uncertainty estimation and the wake-sleep procedure to alleviate the feature noises and improve model abstraction capability. In addition, our method can be easily extended to transductive ZSL setting by generating labels for unseen images. We then introduce a robust loss to solve this label noise problem. Extensive experimental results show that our method outperforms the state-of-the-art methods in different ZSL settings on most benchmark datasets. The code will be available at https://github.com/osierboy/IBZSL.

研究の動機と目的

• 学習時にのみ既知のデータに依存する生成的ゼロショット学習手法における、既知・未知のバイアスを解消する。
• 視覚的・意味的表現の間のきめ細やかな結合を強制することで、視覚的・意味的埋め込み空間におけるキャリブレーションのずれやハブネスを低減する。
• 特徴マッピング中に重要な属性情報を保持する情報ボトルネック制約を統合することで、モデルの抽象化能力を向上させ、ノイズに強い性能を実現する。
• 未学習画像のための擬似ラベルを生成し、頑健な損失関数によりラベルノイズを軽減することで、効果的な伝達的ゼロショット学習を可能にする。
• 視覚的・意味的空間の学習を統合し、一般化性能を向上させることで、多様なZSLベンチマークで最先端の性能を達成する。

提案手法

• 視覚的特徴と意味的特徴を統合的に埋め込むことで、統合された潜在空間を学習する双方向生成モデルを提案し、モodal 間のより緊密な結合を保証する。
• 潜在空間に情報ボトルネック（IB）制約を導入し、高次元の視覚的特徴からの非意味的ノイズを除去し、必須の属性情報のみを保持する。
• 不確実性推定とウェークスリープトレーニング手順を適用することで、特徴ノイズに対する耐性を高め、モデルの抽象化能力を強化する。
• 擬似ラベルの生成とラベルノイズを扱うための頑健な損失関数の適用により、フレームワークを伝達的ZSLに拡張する。
• 再構成忠実度、相互情報量の保持、潜在空間における分類精度のバランスを取る共同目的関数を最適化する。
• パラメトリック分布を潜在空間に導入し、視覚的および意味的埋め込みをモデル化することで、勾配ベース最適化によるエンドツーエンド学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 視覚的・意味的マッピング中に、意味的属性情報のうち必須のもののみを保持する情報ボトルネック制約は、ゼロショット学習モデルの一般化性能を向上させ得るか？
• RQ2 視覚的・意味的結合がきめ細やかである双方向埋め込みは、ゼロショット認識におけるキャリブレーションのずれやハブネスをどのように低減するか？
• RQ3 不確実性推定とウェークスリープトレーニングは、ゼロショット学習におけるノイズの多い特徴に対する耐性をどの程度向上させるか？
• RQ4 本手法は、未学習画像のための信頼性の高い擬似ラベルを生成することで、伝達的ZSLに効果的に拡張可能か？
• RQ5 ラベルノイズに強い損失関数の統合は、伝達的ゼロショット学習設定における性能を向上させるか？

主な発見

• 提案されたIBZSL手法は、インダクティブおよびトランスダクティブゼロショット学習設定の両方において、多数のベンチマークデータセットで最先端の性能を達成する。
• 情報ボトルネック制約により、視覚的特徴内の非意味的ノイズの影響が顕著に低減され、視覚的・意味的空間間の整合性が向上する。
• 不確実性推定とウェークスリープトレーニングにより、より頑健な特徴抽象化が実現され、未知のクラスへの一般化性能が向上する。
• 擬似ラベル生成時に頑健な損失関数を活用することで、伝達的ZSLにおけるラベルノイズに対しても効果的に対処できる。
• 広範な実験により、きめ細やかな結合を持つ双方向生成モデルが、既存の生成的および判別的ZSLアプローチを上回ることを確認した。
• 分布シフトの下でも、複数のデータセットにわたり一貫した向上が得られるなど、モデルは強力な一般化能力を示している。