[論文レビュー] Unified Generator-Classifier for Efficient Zero-Shot Learning

Ayyappa Kumar Pambala, Titir Dutta+1 more|arXiv (Cornell University)|May 11, 2019

Domain Adaptation and Few-Shot Learning参考文献 26被引用数 4

ひとこと要約

本稿では、ゼロショット学習のための統合的生成フレームワークGenClassを提案する。このフレームワークは、生成器と分類器をエンドツーエンドで同時に学習することで、新しいクラスに対して別個に分類器を微調整する必要がなくなる。生成器と分類器を統合することにより、より判別性の高い特徴を生成し、オブジェクト認識およびアクティビティ認識ベンチマークで最先端の性能を達成した。生成サンプルの数も著しく少ない。

ABSTRACT

Generative models have achieved state-of-the-art performance for the zero-shot learning problem, but they require re-training the classifier every time a new object category is encountered. The traditional semantic embedding approaches, though very elegant, usually do not perform at par with their generative counterparts. In this work, we propose an unified framework termed GenClass, which integrates the generator with the classifier for efficient zero-shot learning, thus combining the representative power of the generative approaches and the elegance of the embedding approaches. End-to-end training of the unified framework not only eliminates the requirement of additional classifier for new object categories as in the generative approaches, but also facilitates the generation of more discriminative and useful features. Extensive evaluation on three standard zero-shot object classification datasets, namely AWA, CUB and SUN shows the effectiveness of the proposed approach. The approach without any modification, also gives state-of-the-art performance for zero-shot action classification, thus showing its generalizability to other domains.

研究の動機と目的

• 新しいクラスに対して別個に分類器を微調整する必要がある、従来の生成的ZSL手法の非効率性を解消すること。
• 生成モデルの高い性能と、意味的埋め込みアプローチの洗練さを統合すること。
• 生成器と分類器のエンドツーエンド学習により、特徴の判別性を向上させること。
• 生成と分類の目的を一致させることで、最小限の生成サンプルで効率的な推論を可能とすること。
• 本統合フレームワークが、オブジェクト認識にとどまらず、アクティビティ認識などの異なる分野へも一般化可能であることを示すこと。

提案手法

• フレームワークは、生成器と分類器を一つのエンドツーエンド学習可能なモジュールに統合し、生成器が未学習クラスの属性から偽の画像を生成する。
• 分類器は、実画像と偽画像が同じクラスに属するかどうかを識別するように学習され、実画像および生成画像の両方の特徴を用いる。
• 生成サンプルの現実性と判別性を向上させるために、敵対的学習の枠組みでディスクライマーが使用される。
• 生成器は、学習済みクラスと未学習クラスの両方の属性に条件付けられ、クラス固有で意味的に意味のある特徴を生成する。
• 統合された学習プロセスにより、生成された特徴が分類性能に直接最適化される。
• 本フレームワークは、WGAN や CVAE といったさまざまな生成モデルと互換性があり、モジュラーな一般化性を示している。

実験結果

リサーチクエスチョン

• RQ1 生成器と分類器のエンドツーエンド連合学習は、逐次学習に比べてゼロショット分類性能を向上させることができるか？
• RQ2 分類器を生成プロセスに統合することで、良好な性能を得るために必要な生成サンプル数を削減できるか？
• RQ3 統合フレームワークは、オブジェクト認識にとどまらず、アクティビティ認識のような他の分野へ一般化可能か？
• RQ4 提案された統合手法と分離学習アプローチとの間で、生成された特徴の判別性に差があるか？
• RQ5 一般化ゼロショット学習において、本統合フレームワークは学習済みクラスへのバイアスをどの程度低減できるか？

主な発見

• GenClassは、3つの標準的なZSLオブジェクト認識データセット（AWA: 71.4%、CUB: 59.6%、SUN: 62.2%）において、ZSL設定で最先端の性能を達成した。
• 一般化ZSL設定では、AWAで49.8%の調和平均精度を達成し、先行手法を上回った。
• 1クラスあたり20個の生成サンプルで、CUBで60.5%の精度に到達し、性能が急速に飽和した。これは、従来の生成的手法が数百個のサンプルを必要としていたのと比べて顕著に少ない。
• GenClassが生成する特徴にソフトマックス分類器を適用したところ、CUB（ZSL）で59.6%の精度を達成した。これは、元の f-CLSWGAN フレームワークの57.3%を上回り、より高い特徴の判別性を示している。
• WGAN生成器をCVAEに置き換えても、すべてのデータセットで性能が向上した。これは、フレームワークの一般化可能性を裏付けている。
• アクティビティ認識データセットでは、UCF101で27.5%のトップ1精度、HMDB51で21.3%を達成し、ZSL設定で最先端の手法を上回った。