[論文レビュー] Zero-Shot Learning from scratch (ZFS): leveraging local compositional representations

Tristan Sylvain, Linda Petrini+1 more|arXiv (Cornell University)|Oct 22, 2020

Domain Adaptation and Few-Shot Learning参考文献 32被引用数 8

ひとこと要約

本論文は、ImageNetでの事前学習を禁止する新しいベンチマーク、ゼロショット学習からスクラッチ（ZFS）を導入し、モデルがスクラッチから汎用的な表現を学習するよう強制する。画像パッチにおける補助損失を通じて局所的構成表現を統合することで、ゼロショット精度が向上し、特にAwA2およびSUNデータセットにおいて、DIMがSOTA性能を達成する。

ABSTRACT

Zero-shot classification is a generalization task where no instance from the target classes is seen during training. To allow for test-time transfer, each class is annotated with semantic information, commonly in the form of attributes or text descriptions. While classical zero-shot learning does not explicitly forbid using information from other datasets, the approaches that achieve the best absolute performance on image benchmarks rely on features extracted from encoders pretrained on Imagenet. This approach relies on hyper-optimized Imagenet-relevant parameters from the supervised classification setting, entangling important questions about the suitability of those parameters and how they were learned with more fundamental questions about representation learning and generalization. To remove these distractors, we propose a more challenging setting: Zero-Shot Learning from scratch (ZFS), which explicitly forbids the use of encoders fine-tuned on other datasets. Our analysis on this setting highlights the importance of local information, and compositional representations.

研究の動機と目的

• ゼロショット学習におけるImageNet事前学習特徴の過剰依存を是正し、一般化の根本的理解を曇らせる要因を排除すること。
• 外部データセットでの事前学習を禁止することで、より厳密な評価フレームワークを確立し、対象データセットの訓練分割にのみ焦点を当てる。
• 事前学習が許可されない状況下で、局所的かつ構成的表現がゼロショット一般化に不可欠であるかを調査すること。
• ZFS設定下で、補助的な局所的損失（ラベルベースおよび属性ベース）が特徴学習に与える有効性を評価すること。
• 未学習クラスを含む実世界のシナリオにおいて、モデルの一般化能力をより公平に評価できるベンチマークを提供すること。

提案手法

• ImageNetのような外部データセットでの事前学習を一切含まない、ゼロショット学習からスクラッチ（ZFS）のトレーニングプロトコルを提案。
• 小さな、事前学習されていないエンコーダ（例：DCGANベース、AlexNet）を用い、対象データセットの訓練分割から直接特徴を学習する。
• 中間層（例：第3層）から特徴を抽出することで、局所的表現学習を促進する局所的目的を導入。
• 画像パッチに基づく補助損失を適用：1つはクラスラベル（LC）を用い、もう1つは意味的属性（AC）を用いて、構成的一般化を促進。
• 固定されたエンコーダ特徴の上にプロトタイプネットワークを訓練し、ゼロショット分類性能を評価。
• 標準的なトレーニングプロトコルを採用：Adam最適化、128×128へのリサイズ、トレーニング時におけるランダムクロップ、推論時におけるセンタークロップ。

実験結果

リサーチクエスチョン

• RQ1 ImageNet事前学習特徴に依存せずに、強力なゼロショット一般化性能を達成できるか？
• RQ2 スクラッチトレーニングの枠組み下で、局所的および構成的表現はゼロショット一般化にどのように寄与するか？
• RQ3 ZFS設定下で、ラベルベースの損失と属性ベースの損失のどちらがより優れた性能を示すか？
• RQ4 エンコーダアーキテクチャの選択（例：DCGAN対AlexNet）は、ZFS下での性能に影響を与えるか？
• RQ5 局所性を内蔵的に重視するモデル（例：DIM）は、ZFSベンチマークで他のモデルを上回る性能を示せるか？

主な発見

• 局所的補助損失の追加により、すべてのモデルとデータセットでTop-1精度が一貫して向上し、局所的表現の重要性が裏付けられる。
• CUBデータセットでは、属性ベースの局所損失を用いたDIMモデルが42.55%のTop-1精度を達成し、完全に教師ありのFCベースラインを上回る。
• AwA2では、属性ベースの局所損失を用いたDIMモデルが43.62%のTop-1精度を達成し、FCベースラインおよび他のモデルを顕著に上回る。
• SUNでは、属性ベースの局所損失を用いたDIMモデルが34.38%のTop-1精度を達成し、ZFS下での強力な一般化能力を示す。
• VAEやAAEのようなモデルではラベルベースの局所損失が属性ベースのものよりも優れるが、DIMでは逆が成り立つ。これは、DIMが構成的学習に対して感受性であることを示唆する。
• 結果から、事前学習が排除された状況下で、局所性と構成性がゼロショット一般化に不可欠であることが検証された。特に、挑戦的で現実世界的な設定において顕著である。