[論文レビュー] Class Normalization for (Continual)? Generalized Zero-Shot Learning

Ivan Skorokhodov, Mohamed Elhoseiny|arXiv (Cornell University)|Jun 19, 2020

Domain Adaptation and Few-Shot Learning被引用数 9

ひとこと要約

本稿では、ゼロショット学習（ZSL）における深層ZSLモデルの分散崩壊問題に焦点を当て、訓練の安定化を図る新しい正規化手法であるクラス正規化（CN）を提案する。クラス単位の標準化と理論的裏付けのある初期化スキームを組み合わせることで、CNは単純なMLPが4つの標準ZSLベンチマークで最先端の手法を上回る性能を発揮するとともに、50倍高速な訓練を実現する。さらに、厳密な評価指標を備えた新しい継続的ZSL設定の構築も可能にする。

ABSTRACT

Normalization techniques have proved to be a crucial ingredient of successful training in a traditional supervised learning regime. However, in the zero-shot learning (ZSL) world, these ideas have received only marginal attention. This work studies normalization in ZSL scenario from both theoretical and practical perspectives. First, we give a theoretical explanation to two popular tricks used in zero-shot learning: normalize+scale and attributes normalization and show that they help training by preserving variance during a forward pass. Next, we demonstrate that they are insufficient to normalize a deep ZSL model and propose Class Normalization (CN): a normalization scheme, which alleviates this issue both provably and in practice. Third, we show that ZSL models typically have more irregular loss surface compared to traditional classifiers and that the proposed method partially remedies this problem. Then, we test our approach on 4 standard ZSL datasets and outperform sophisticated modern SotA with a simple MLP optimized without any bells and whistles and having ~50 times faster training speed. Finally, we generalize ZSL to a broader problem -- continual ZSL, and introduce some principled metrics and rigorous baselines for this new setup. The project page is located at https://universome.github.io/class-norm.

研究の動機と目的

• 正規化手法（normalize+scaleや属性正規化）がZSL性能を向上させる理由を、この分野における先行研究が限られている中で解明すること。
• 深層ZSLモデルにおける既存の正規化手法が、層間での分散崩壊によって失敗する理由を特定すること。
• クラス単位の標準化と理論的裏付けのある初期化を組み合わせた、新たな正規化スキーム「クラス正規化（CN）」を提案すること。
• ZSLモデルの損失関数の表面が標準的な分類器よりも不規則であることを示し、CNがこの問題を緩和できることを示すこと。
• ZSLを継続的学習設定に拡張し、継続的ゼロショット学習（CZSL）のための体系的評価指標とベースラインを確立すること。

提案手法

• クラス正規化（CN）は、順伝播処理中にクラスプロトタイプの平均と標準偏差を用いて、各層ごとにクラス単位で標準化を実行する。
• 信号の分散をネットワーク全体にわたって維持するために、$1/d_z \cdot 1/d_a$ にスケーリングされた変形ヘ初期化を採用する。
• アーキテクチャの変更や複雑な最適化スキームを必要とせず、標準的なMLPバックボーンと統合可能である。
• 理論的分析により、normalize+scaleや属性正規化のみでは層間の分散安定性を保てないのに対し、CNはその点で優れていることが示された。
• 4つの標準ZSLデータセット（SUN, CUB, AwA1, AwA2）を用いた実験により、本手法の有効性を実証した。
• 継続的ZSLの文脈では、新たな評価プロトコルと指標を導入し、意味的属性を用いた段階的学習の評価を可能にした。

実験結果

リサーチクエスチョン

• RQ1 normalize+scaleや属性正規化がZSL性能を向上させる理由は何か？その理論的根拠は？
• RQ2 標準的な正規化手法が深層ZSLモデルで失敗する理由は何か？また、そのアーキテクチャで発生する分散崩壊の原因は？
• RQ3 normalize+scaleのような単純な正規化スキームが、装飾のない複雑なSOTA ZSL手法を凌駒することができるか？
• RQ4 ZSLモデルの損失関数表面は、標準的な教師あり分類器と比べてどのように異なるか？正規化はその規則性を向上させ得るか？
• RQ5 継続的ゼロショット学習のための適切な評価指標とベースラインは何か？そして、それらを体系的に定義する方法は？

主な発見

• クラス正規化により、シンプルなMLPが4つの標準ZSLベンチマークで最先端の性能を達成し、DCN、SGAL、LsrGANといった複雑なSOTA手法を上回った。
• CNを用いることで、AwA2で平均67.6%の精度を達成し、以前のSOTA（SGALによる65.6%）およびLsrGAN（63.0%）を上回った。
• 訓練時間は約30秒にまで短縮され、SOTA手法が50分から1時間以上を要するのに対し、50〜100倍の高速化が達成された。
• 理論的分析により、CNが初期化における$1/d_a$要因を補正することで、層間の信号分散を維持できることを確認した。これは性能向上に不可欠な要因である。
• 実験的結果から、ZSLモデルは標準分類器よりも損失関数表面が不規則であることが示され、CNが表面の規則性を顕著に改善した。
• 提案された継続的ZSL設定は、新たな評価プロトコルとベースラインを導入し、生涯にわたるゼロショット学習の体系的ベンチマークを可能にした。