[論文レビュー] Using Sentences as Semantic Representations in Large Scale Zero-Shot Learning

Yannick Le Cacheux, Hervé Le Borgne+1 more|arXiv (Cornell University)|Oct 6, 2020

Domain Adaptation and Few-Shot Learning参考文献 31被引用数 5

ひとこと要約

本論文は、大規模ゼロショット学習（ZSL）における意味的プロトタイプとして、短い自然言語文を用いることを提案し、学習された視覚的関連性重みを介してクラス名埋め込みと組み合わせることで、性能を顕著に向上させる。FastText埋め込みとアテンション機構を活用し、文における視覚的に関連する語を優先することで、ImageNet ZSLでSOTAのトップ1正答率17.8％を達成し、単一の単語埋め込みや属性のみを用いた先行手法を上回る。

ABSTRACT

Zero-shot learning aims to recognize instances of unseen classes, for which no visual instance is available during training, by learning multimodal relations between samples from seen classes and corresponding class semantic representations. These class representations usually consist of either attributes, which do not scale well to large datasets, or word embeddings, which lead to poorer performance. A good trade-off could be to employ short sentences in natural language as class descriptions. We explore different solutions to use such short descriptions in a ZSL setting and show that while simple methods cannot achieve very good results with sentences alone, a combination of usual word embeddings and sentences can significantly outperform current state-of-the-art.

研究の動機と目的

• 手動で定義された属性や一般的な単語埋め込みに依存する伝統的なゼロショット学習（ZSL）手法のスケーラビリティと性能の限界を解消すること。
• 大規模ZSLにおける未学習クラスのための効果的でスケーラブルな意味的表現として、短く自然な言語文が有効であるかを検証すること。
• 文の記述とクラス名埋め込みを組み合わせることで意味的プロトタイプの質を向上させる、軽量で計算効率の良い手法を開発すること。
• ZSLおよび関連タスクで即座に利用可能な、高品質な事前学習済み文ベースプロトタイプを公開すること。

提案手法

• 意味的空間から視覚的特徴空間への意味的プロトタイプの射影に線形リッジ回帰モデル（Linear S→V）を用い、視覚的および意味的特徴を整合させる変換行列Θを学習する。
• クラス名と短い記述文（例：「大きな黒い、長いくちばしを持つ鳥」）を組み合わせて意味的プロトタイプを構築し、語の表現にFastText埋め込みを用いる。
• 各語の視覚的関連性スコアを計算し、その語に関連する画像の平均視覚特徴からの平均距離の逆数として定義し、意味的および視覚的に関連する語を特定する。
• 文の埋め込みにアテンション機構を適用し、視覚的関連性スコアが高い語を強調する学習済み重みを用いることで、意味的空間と視覚的空間の整合性を向上させる。
• 最終的なプロトタイプは、クラス名埋め込みと文の埋め込みの重み付き組み合わせであり、交差検証により最適な70％（文）と30％（クラス名）の比率が特定された。
• 本手法は複数のZSLモデル（例：ESZSL、ConSE、DeViSE）で評価され、提案された文強化プロトタイプを用いることで一貫した性能向上が示された。

実験結果

リサーチクエスチョン

• RQ1 短く自然な言語文は、大規模ゼロショット学習において効果的でスケーラブルな意味的表現として機能するか？
• RQ2 単語埋め込みや属性のみを用いる場合と比較して、文ベースの記述とクラス名埋め込みを組み合わせることでZSL性能にどのような影響を与えるか？
• RQ3 文の内容を意味的プロトタイプに統合する最適な方法は何か——特に、文内のどの語が視覚的特徴を最も予測可能にしているか？
• RQ4 視覚的関連性重み付きアテンションの使用は、ZSLにおける意味的空間と視覚的空間の整合性を向上させるか？
• RQ5 本手法は、微調整や複雑なアーキテクチャを必要とせず、ImageNetのような大規模ベンチマークでSOTA性能を達成できるか？

主な発見

• 本手法は、Linear S→Vモデルを用いてImageNet ZSLでトップ1正答率17.8％を達成し、以前のSOTA手法を顕著に上回った。
• クラス名と文の埋め込みに視覚的関連性重み付きアテンションを組み合わせた（Classname+Def visualness+Parent）アプローチが最良の性能を示し、70％（文）と30％（クラス名）の比率が最適なトレードオフであることが判明した。
• FastText埋め込みは、GloVe や ELMo と比較して、本フレームワークにおいて一貫して優れた性能を示した。
• ELMo埋め込みは文脈を捉える能力があるにもかかわらず、視覚的関連性スコアと組み合わせると性能が低かったため、ZSLにおいて文脈的語埋め込みが最適ではない可能性を示唆した。
• 本手法は、さまざまなZSLモデルにわたって一般化が良く、提案された文強化プロトタイプを用いることで、トップ1、トップ5、トップ10正答率のすべてで一貫した向上が得られた。
• 著者らは、事前学習済みの文ベースプロトタイプとコードを公開しており、今後のZSLおよびクロスモodal学習研究における即時利用と再現性を可能にした。