[論文レビュー] Zero-Shot Learning by Harnessing Adversarial Samples

Zhi Chen, Pengfei Zhang+3 more|arXiv (Cornell University)|Aug 1, 2023

Domain Adaptation and Few-Shot LearningComputer Science被引用数 3

ひとこと要約

本稿では、意味的整合性を保ちつつ一般化性能を向上させるために、意味的保存性のある敵対的拡張を生成する新しいゼロショット学習（ZSL）手法である Harnessing Adversarial Samples（HAS）を提案する。属性条件付きで潜在空間に制約を課し、多様性のある摂動を適用することで、CUB、FGVCAircraft、Stanford Carsの3つのデータセットにおいて、ZSLおよび一般化ZSLの両設定で最先端の性能を達成した。

ABSTRACT

Zero-Shot Learning (ZSL) aims to recognize unseen classes by generalizing the knowledge, i.e., visual and semantic relationships, obtained from seen classes, where image augmentation techniques are commonly applied to improve the generalization ability of a model. However, this approach can also cause adverse effects on ZSL since the conventional augmentation techniques that solely depend on single-label supervision is not able to maintain semantic information and result in the semantic distortion issue consequently. In other words, image argumentation may falsify the semantic (e.g., attribute) information of an image. To take the advantage of image augmentations while mitigating the semantic distortion issue, we propose a novel ZSL approach by Harnessing Adversarial Samples (HAS). HAS advances ZSL through adversarial training which takes into account three crucial aspects: (1) robust generation by enforcing augmentations to be similar to negative classes, while maintaining correct labels, (2) reliable generation by introducing a latent space constraint to avert significant deviations from the original data manifold, and (3) diverse generation by incorporating attribute-based perturbation by adjusting images according to each semantic attribute's localization. Through comprehensive experiments on three prominent zero-shot benchmark datasets, we demonstrate the effectiveness of our adversarial samples approach in both ZSL and Generalized Zero-Shot Learning (GZSL) scenarios. Our source code is available at https://github.com/uqzhichen/HASZSL.

研究の動機と目的

• 従来の画像拡張手法が画素値を変更するが属性レベルの意味を保存しないことによる意味的歪み問題を解消すること。
• 敵対的訓練を活用して多様で強固で意味的に整合性のあるデータ拡張を生成することで、ZSLにおけるモデルの一般化性能を向上させること。
• 局所化された属性に条件づけられ、データ多様体内に制約を課すことで、データ拡張中に意味的整合性を維持すること。
• 意味的属性に関連する領域に焦点を当てた摂動により、より正確な属性の局所化と予測を可能にすること。
• 標準的および一般化ゼロショット学習の両状況において、従来の拡張法よりも敵対的サンプルが優れていることを実証すること。

提案手法

• 敵対的訓練を用いて、属性監視に整合した摂動を生成し、画像の変更が意味的意味を歪めないことを保証する。
• 敵対的サンプルが元のデータ多様体から大きく逸脱しないように、潜在空間に制約を課す。
• 特定の意味的属性の空間的局所化に基づいて摂動を条件づけることで、関連性と多様性を向上させる。
• 前景と背景の摂動を分離し、物体領域に特化した操作を可能にするとともに、背景コンテキストへの干渉を最小限に抑える。
• 敵対的摂動に対しても正しい属性予測を維持できるようにモデルを訓練することで、耐性と意味的忠実性を確保する。
• 属性条件付き生成と敵対的損失を統合し、多様性と意味的監視に忠実な拡張を生成するアプローチを採用する。

実験結果

リサーチクエスチョン

• RQ1 敵対的サンプルを効果的に活用することで、意味的整合性を保ちながらゼロショット学習の一般化性能を向上させることができるか？
• RQ2 ZSLにおけるデータ拡張において、敵対的訓練をどのように変更すれば属性レベルの意味を維持できるか？
• RQ3 敵対的データ生成は、ZSLにおける意味的歪みを低減する観点で、従来の画像拡張手法を上回るか？
• RQ4 敵対的摂動は、ゼロショット学習における属性の局所化と予測精度をどの程度向上させることができるか？
• RQ5 提案手法は、一般化ゼロショット学習を含む、さまざまなZSLベンチマークと設定に一般化可能か？

主な発見

• 提案されたHAS手法は、CUB、FGVCAircraft、Stanford Carsの3つの主要なゼロショット学習ベンチマークで最先端の性能を達成した。
• CUBデータセットでは、ZSL精度が58.7%、GZSL精度が48.9%を達成し、両設定で先行手法を上回った。
• アブレーションスタディの結果、強固で信頼性が高く多様な生成という3つの要素が、性能向上に顕著に寄与していることが確認された。
• 注意マップの可視化により、モデルが正しい属性関連領域に注目していることが示され、局所化の向上がlocalizedな摂動によるものであることが裏付けられた。
• 摂動解析の結果、敵対的ノイズは主に前景オブジェクトに適用されており、背景への影響は最小限に抑えられており、意味的コンテキストが保持されていることがわかった。
• 本手法は意味的歪みを効果的に軽減した。従来の拡張法とは異なり、誤った属性予測を避けており、属性空間における明確な分離を維持していた。