[論文レビュー] Zero-Shot Learning -- The Good, the Bad and the Ugly

Yongqin Xian, Bernt Schiele+1 more|arXiv (Cornell University)|Mar 13, 2017

Domain Adaptation and Few-Shot Learning参考文献 39被引用数 100

ひとこと要約

複数のデータセットに跨るゼロショットおよび一般化ゼロショット学習法の総合ベンチマークで、統一された評価プロトコルと良い、悪い、そして醜い実践に関する洞察を提供します。

ABSTRACT

Due to the importance of zero-shot learning, the number of proposed approaches has increased steadily recently. We argue that it is time to take a step back and to analyze the status quo of the area. The purpose of this paper is three-fold. First, given the fact that there is no agreed upon zero-shot learning benchmark, we first define a new benchmark by unifying both the evaluation protocols and data splits. This is an important contribution as published results are often not comparable and sometimes even flawed due to, e.g. pre-training on zero-shot test classes. Second, we compare and analyze a significant number of the state-of-the-art methods in depth, both in the classic zero-shot setting but also in the more realistic generalized zero-shot setting. Finally, we discuss limitations of the current status of the area which can be taken as a basis for advancing it.

研究の動機と目的

• 一貫した評価プロトコルとデータ分割を備えた統一されたゼロショット学習ベンチマークを定義する。
• ゼロショットおよび一般化ゼロショット設定の下で、最先端手法を系統的に比較する。
• 現在のZSL研究の限界と実践的課題を分析し、今後の改善を導く。

提案手法

• 統一された目的と適合性スコアを用いてゼロショット学習を形式化する。
• 線形および非線形の適合性モデル、中間属性分類器、ハイブリッドアプローチを評価する。
• 訓練/検証/テストの分割とクラス別精度を含む統一評価プロトコルを導入する。
• ImageNet1Kの事前学習にテストクラスが出現しないことを保証する新しいデータセット分割を提案する。
• SUN、CUB、AWA、aPY、ImageNetにおけるゼロショットおよび一般化ゼロショットの性能を評価する。
• ハイパーパラメータへの頑健性を分析し、定性的・定量的洞察を提供する。

実験結果

リサーチクエスチョン

• RQ1 統一されたベンチマークと評価プロトコルの下で、さまざまなゼロショット学習手法はどのように性能を発揮するか？
• RQ2 テストクラスの混入を避けるような事前学習特徴量と分割を使用することの影響は何か？
• RQ3 古典的なゼロショット設定と一般化ゼロショット設定におけるゼロショット手法の比較はどうなるか？
• RQ4 現実的な評価の下で、どの手法ファミリ（適合性学習 vs. 属性/分類ベース）はより良く一般化するか？
• RQ5 ZSL研究を改善するための実践的な制約と推奨される実践は何か？

主な発見

• 最大マージン適合性法（ALE、DEVISE、SJE）は統一分割下でゼロショットの性能が高いが、ハイブリッド/属性ベースの手法は一部設定で遅れをとる。
• 一般化ゼロショット学習ははるかに難しく、調和平均が seen と unseen クラス間のバランスのとれた性能を最もよく捉える。
• ImageNet1K漏洩を避ける提案分割（PS）は、低いがより現実的な性能を示しており、特にCUBやSUNのような細かい分類データセットで顕著。
• 結果はデータセット分割と評価プロトコルにモデルの順位が影響されることを示しており、標準化されたベンチマークの必要性を強調している。
• 新規度検出を備えたCMT（CMT*）は複数の設定でCMTを上回り、単純な新規性メカニズムの利点を示している。
• 大規模ImageNetではSYNCがしばしトップの性能を達成することが多く、大規模な意味空間でWord2Vec埋め込みの有効性を示唆している。