[論文レビュー] Locality and compositionality in zero-shot learning

Tristan Sylvain, Linda Petrini+1 more|arXiv (Cornell University)|Dec 20, 2019

Domain Adaptation and Few-Shot Learning参考文献 55被引用数 21

ひとこと要約

この論文は、ImageNetのようなデータセットでの事前学習を排除することで、局所性と構成性が表現学習における役割を分離するため、ゼロショット学習から始める（ZFS）という新しいベンチマークを導入する。局所的特徴抽出と構成的構造に重きを置くモデルが、ゼロショット画像分類において顕著に優れた一般化性能を示すことが実証され、これらの特性とZSL精度との間に強い相関関係が確認された。特に、CUB や AwA2 のような意味的に意味のある属性を持つデータセットにおいて顕著である。

ABSTRACT

In this work we study locality and compositionality in the context of learning representations for Zero Shot Learning (ZSL). In order to well-isolate the importance of these properties in learned representations, we impose the additional constraint that, differently from most recent work in ZSL, no pre-training on different datasets (e.g. ImageNet) is performed. The results of our experiments show how locality, in terms of small parts of the input, and compositionality, i.e. how well can the learned representations be expressed as a function of a smaller vocabulary, are both deeply related to generalization and motivate the focus on more local-aware models in future research directions for representation learning.

研究の動機と目的

• ImageNet のような外部データセットでの事前学習を排除することで、ゼロショット学習（ZSL）のより現実的な評価フレームワークを構築すること。
• 局所性（入力の小さな部分に注目すること）と構成性（表現をより小さな語彙の関数として表現すること）が、ZSLにおける一般化の主要因であるかどうかを調査すること。
• 局所性と構成性への内蔵的または明示的な適合度に注目しながら、さまざまな表現学習手法がZFS設定下でどのように機能するかを評価すること。
• 局所性と構成性を学習された表現から探査・定量化するための新しい手法と可視化ツールを導入すること。
• 再構成に基づくモデル（例：VAE）がゼロショット一般化に必要な意味的構造を捉えていないという実証的証拠を提供すること。

提案手法

• 外部データから事前学習を行わず、ターゲットデータセットの学習スプリットにのみ学習させる、ゼロショット学習から始める（ZFS）を提案する。
• ZFS設定下でのゼロショット一般化性能を評価するために、学習された特徴量の上にプロトタイプネットワークを適用する。
• 局所的で構成的な特徴学習を促進するために、同じラベルの他の画像からの局所的なパッチ表現をポジティブサンプルとして使用する、Deep InfoMax（DIM）の新しい変種を導入する。
• 相互情報量に基づく新しい可視化技術を開発し、表現の局所的性質を分析する。これにより、モデルが画像のどの部分に注目しているかを解釈可能にする。
• 構成性の代理指標として、総表現エントロピー（TRE）比を用い、意味のある部分の小さな集合が表現のどの程度を説明しているかを測定する。
• 局所性（例：パーツ比）と構成性（例：TRE比）の代理指標を、複数のデータセットとモデルファミリーにわたってZSL精度と相関させる。

実験結果

リサーチクエスチョン

• RQ1 事前学習を排除した状況下で、学習された表現における局所性と構成性は、ゼロショット一般化性能をどの程度予測できるか？
• RQ2 教師あり学習、自己教師学習、VAE などの異なる表現学習手法は、局所性と構成性への内蔵的または明示的適合度においてどのように異なるか？
• RQ3 新たな局所的ポジティブサンプルに基づくDeep InfoMaxの変種は、ZFS設定下でZSLのための表現品質を向上させることができるか？
• RQ4 再構成に基づくモデル（例：VAE）は、ZSLにおける意味的構造をどの程度捉えているか。なぜ失敗するのか？
• RQ5 属性の意味的明確さと、構成性の代理指標とZSL精度との相関の強さの間にはどのような関係があるか？

主な発見

• ZFSベンチマークは、局所性と構成性に重点を置くモデルが、特に意味的に意味のある属性を持つデータセットにおいて、ゼロショット画像分類で顕著に優れた一般化性能を示すことを明らかにした。
• CUBデータセットでは、構成性の代理指標であるTRE比とZSL精度との間に強い負の相関（ピアソンの積率相関係数 r = -0.90）が確認され、TRE比が低いほど性能が高いことを示している。
• AwA2では、TRE比とZSL精度との相関も依然として有意（r = -0.60）であるが、CUBほど強くはなく、属性の質が相関の強さに影響している可能性を示唆している。
• SUNでは属性が画像ごとに定義され、意味的に一貫性が薄いため、TRE比とZSL精度との相関は弱い（r = -0.30）であり、属性の質が構成性の代理指標としての有効性を調整していることを示している。
• 局所的特徴量の平均化（明示的な構成性の形式）は、CUBとAwA2の両方でZSL性能を向上させ、特に一部のパッチ（例：くちばし、しっぽ）が意味的に関連している場合に顕著である。
• VAEでは、パーツ比と属性類似度との間に相関が認められないが、SSIMとの間に強い負の相関が確認され、VAEがピクセルレベルの類似性に注目していること、意味的パーツを捉えていないことが示され、ZSLへの有用性が損なわれている。