[論文レビュー] Learning Feature-to-Feature Translator by Alternating Back-Propagation for Generative Zero-Shot Learning

Yizhe Zhu, Jianwen Xie+2 more|arXiv (Cornell University)|Apr 22, 2019

Domain Adaptation and Few-Shot Learning参考文献 66被引用数 13

ひとこと要約

本論文は、クラスレベルの意味的特徴量とノイズを視覚的特徴量にマッピングする、1つの条件付き生成器を交互逆誤差伝搬（ABP）で訓練する、生成的ゼロショット学習フレームワークを提案する。補助ネットワークを必要とせず、最先端の性能を達成する。一般化ZSLでは、既存手法より最大4.0%優れている。不完全な視覚的特徴量に対してもロバストである。

ABSTRACT

We investigate learning feature-to-feature translator networks by alternating back-propagation as a general-purpose solution to zero-shot learning (ZSL) problems. It is a generative model-based ZSL framework. In contrast to models based on generative adversarial networks (GAN) or variational autoencoders (VAE) that require auxiliary networks to assist the training, our model consists of a single conditional generator that maps class-level semantic features and Gaussian white noise vector accounting for instance-level latent factors to visual features, and is trained by maximum likelihood estimation. The training process is a simple yet effective alternating back-propagation process that iterates the following two steps: (i) the inferential back-propagation to infer the latent factors of each observed example, and (ii) the learning back-propagation to update the model parameters. We show that, with slight modifications, our model is capable of learning from incomplete visual features for ZSL. We conduct extensive comparisons with existing generative ZSL methods on five benchmarks, demonstrating the superiority of our method in not only ZSL performance but also convergence speed and computational cost. Specifically, our model outperforms the existing state-of-the-art methods by a remarkable margin up to 3.1% and 4.0% in ZSL and generalized ZSL settings, respectively.

研究の動機と目的

• 未学習クラスに訓練データが存在しないゼロショット学習（ZSL）の課題に対処すること。
• 生成的ZSLモデルにおいて、生成対抗ネットワーク（GAN）や変分自己符号化器（VAE）のような補助ネットワーク（識別器やエンコーダ）の必要性を排除すること。
• 計算が困難な事後分布を伴う最尤推定に基づく、シンプルで効率的かつ効果的な学習手法の開発。
• 現実世界のシナリオで一般的な不完全な視覚的特徴量からのロバストな学習を可能にすること。
• 既存の生成的ZSLフレームワークと比較して、収束速度と計算効率を向上させること。

提案手法

• モデルは、クラスレベルの意味的特徴量とガウスノイズを視覚的特徴量にマッピングする1つの条件付き生成器を使用し、特徴量間変換器として機能する。
• 学習には、逐次的に推論と学習の逆誤差伝搬ステップを繰り返す交互逆誤差伝搬（ABP）アルゴリズムが採用される。
• 推論の逆誤差伝搬では、MCMCサンプリングを用いたランジュバンダイナミクスにより潜在因子が推定され、勾配は逆誤差伝搬で計算される。
• 学習の逆誤差伝搬では、推定された潜在因子を用いて対数尤度の勾配上昇によりモデルパラメータが更新される。
• この手法は、EMに類似した戦略を用いた最尤推定に依存しており、敵対的学習や変分推論の必要がない。
• 不完全な視覚的特徴量に対応するため、推論時に欠損値を潜在変数として扱うことでフレームワークを不完全な特徴量に適応可能である。

実験結果

リサーチクエスチョン

• RQ1 最大尤度推定で訓練された1つの条件付き生成器が、補助ネットワークを一切用いずに、ゼロショット学習で最先端の性能を達成できるか？
• RQ2 交互逆誤差伝搬アルゴリズムは、敵対的学習や変分推論と比較して収束性と安定性に優れているか？
• RQ3 視覚的特徴量が部分的に欠損している場合、モデルの一般化性能はどの程度向上するか？
• RQ4 実世界のクラスの不均衡を反映するために、学習済みクラス数が増加する際、モデルのスケーラビリティはどの程度か？
• RQ5 最小限のラベル付きデータで、未学習クラスの高品質な合成視覚的特徴量を生成できるか？

主な発見

• 提案手法は、ベンチマークデータセット上で、前回の最先端手法より一般化ZSLの正確さで4.0%の向上を達成した。
• CUBデータセットでは、未学習クラス1クラスあたり1つの合成サンプルでのみ、トップ1正確さ50.1%を達成し、FGZSL（29.1%）やVZSLを上回った。
• 1クラスあたり300個の合成サンプルを用いる段階で性能が飽和し、生成品質の安定性と一貫性が裏付けられた。
• 欠損率が90%に達する状況でも、51.6%の正確さを維持し、GAZSL（37.7%）を顕著に上回った。
• 敵対的生成ネットワーク（GAN）や変分自己符号化器（VAE）ベースの手法と比較して、パラメータ数が少なく、計算コストも低く抑えられており、補助ネットワークが存在しないためである。
• 学習済みクラス数が増加する一般化ZSLにおいて、学習済みクラス（A_S）で妥当な性能を維持しながら、未学習クラス（A_U）の正確さを高い水準で維持しており、優れた一般化能力を示した。