[論文レビュー] Task-Aware Feature Generation for Zero-Shot Compositional Learning

Xin Wang, Fisher Yu+2 more|arXiv (Cornell University)|Jun 11, 2019

Domain Adaptation and Few-Shot Learning参考文献 58被引用数 9

ひとこと要約

本論文は、タスク記述に条件づけられた生成器を用いて、新しい属性-オブジェクトの組み合わせのための画像特徴を合成することで、ゼロショット複合学習のためのタスクに適応した特徴生成（TFG）フレームワークを提案する。タスクに適応したノイズを段階的に各レイヤーに注入することで、TFGはサンプル効率と一般化性能を向上させ、実画像を一切使用せずに高精度な分類器を学習できる、現実的で判別性の高い特徴分布を生成することで、一般化ZSCLベンチマークで2倍以上の性能向上を達成し、最先端の性能を実現する。

ABSTRACT

Visual concepts (e.g., red apple, big elephant) are often semantically compositional and each element of the compositions can be reused to construct novel concepts (e.g., red elephant). Compositional feature synthesis, which generates image feature distributions exploiting the semantic compositionality, is a promising approach to sample-efficient model generalization. In this work, we propose a task-aware feature generation (TFG) framework for compositional learning, which generates features of novel visual concepts by transferring knowledge from previously seen concepts. These synthetic features are then used to train a classifier to recognize novel concepts in a zero-shot manner. Our novel TFG design injects task-conditioned noise layer-by-layer, producing task-relevant variation at each level. We find the proposed generator design improves classification accuracy and sample efficiency. Our model establishes a new state of the art on three zero-shot compositional learning (ZSCL) benchmarks, outperforming the previous discriminative models by a large margin. Our model improves the performance of the prior arts by over 2x in the generalized ZSCL setting.

研究の動機と目的

• 訓練画像が一切ない新しい視覚的概念を認識する課題に取り組むこと、特にデータが限られた状況下での課題に焦点を当てる。
• 未学習の属性-オブジェクトの組み合わせのための現実的でリアルな画像特徴を合成することで、ゼロショット複合学習におけるモデルの一般化性能を向上させること。
• 学習済みの組み合わせから知識を転移する生成アプローチを用いて、サンプル効率と分類器の性能を向上させること。
• 画像とテキストの埋め込みの間の適合性に依存するが、モード固有の変動をモデル化しない既存の判別モデルの限界を克服すること。
• タスクに適応した深層サンプリングを用いて、新しい組み合わせのための画像特徴の真の分布を捉える特徴生成器を開発すること。

提案手法

• TFGフレームワークは、タスクに適応した特徴生成器、ディスクラミネーター、およびエンドツーエンドで訓練される分類器から構成される。
• 生成器は、属性-オブジェクトの組み合わせの単語埋め込みに条件づけられた特徴を生成し、各レイヤーにノイズを注入するタスクに適応した深層サンプリングを用いる。
• タスクに適応したノイズがネットワークの各レイヤーに段階的に注入され、タスク固有の変動をモデル化し、特徴分布の忠実性を向上させる。
• ディスクラミネーターは、学習済みの組み合わせの実特徴と合成特徴を区別し、生成された特徴のリアルさを向上させる。
• 分類器は合成特徴のみで訓練され、学習済みおよび新しい組み合わせを認識できるようにし、ゼロショット推論を可能にする。
• 生成器は、ディスクラミネーターが実特徴と合成特徴を区別できないようにするGANに類似た訓練目的を用いる。

実験結果

リサーチクエスチョン

• RQ1 実際の訓練画像が存在しない状況でも、生成モデルが新しい視覚的コンセプトのための画像特徴を効果的に合成できるか？
• RQ2 複数のレイヤーにタスクに適応したノイズを注入することで、単一レイヤーへのノイズ注入に比べて特徴品質と下流分類精度が向上するか？
• RQ3 特に一般化ZSCL設定において、提案されたTFGフレームワークは判別モデルよりも優れた一般化性能を示せるか？
• RQ4 生成された特徴は、実画像特徴の分布とどれほど一致するか？また、異なる組み合わせごとに分離可能なクラスタを形成するか？
• RQ5 タスクに適応した深層サンプリングは、特徴生成におけるサンプル効率と収束速度にどのような影響を及ぼすか？

主な発見

• TFGモデルは、MIT-States、UT-Zap50K、StanfordVRDの3つのZSCLベンチマークで、新たな最先端性能を達成した。
• Purushwalkamらが導入した一般化ZSCLベンチマークにおいて、TFGは先行の最先端性能を2倍以上上回る精度向上を達成した。
• 特徴可視化の結果、生成された特徴は実特徴分布に近く、実特徴よりも明確で分離性の高いクラスタを形成していることが示された。
• t-SNE可視化では、タスクに適応したノイズ注入戦略が、タスクIDに基づいてノイズをより良いクラスタリングを実現していることが確認され、無条件ノイズに比べて優れている。
• アブレーションスタディにより、TFGが予測精度とサンプル効率の両方を向上させ、トレーニング中により速い収束を達成することが確認された。
• 定性的な結果では、分類器が新しい組み合わせに一致する画像を高い信頼度で検索できたが、特にStanfordVRDのような複雑なデータセットでは失敗事例も存在した。