[論文レビュー] Tell and Predict: Kernel Classifier Prediction for Unseen Visual Classes from Unstructured Text Descriptions

Mohamed Elhoseiny, Ahmed Elgammal+1 more|arXiv (Cornell University)|Jun 29, 2015

Domain Adaptation and Few-Shot Learning参考文献 33被引用数 5

ひとこと要約

本稿では、未学習クラスの非構造的テキスト記述を用いてゼロショット視覚認識のためのカーネル化分類器予測フレームワークを提案する。テキストから視覚空間へのドメイン変換関数を学習し、テキスト用の分布的意味的カーネルを導入することで、画像レベルのアノテーションを必要とせずに明示的なカーネル分類器を予測する。Birdsデータセットにおいて5.35%のマルチクラス正解率を達成し、ランダムベースライン比で132.6%の向上を達成した。

ABSTRACT

In this paper we propose a framework for predicting kernelized classifiers in the visual domain for categories with no training images where the knowledge comes from textual description about these categories. Through our optimization framework, the proposed approach is capable of embedding the class-level knowledge from the text domain as kernel classifiers in the visual domain. We also proposed a distributional semantic kernel between text descriptions which is shown to be effective in our setting. The proposed framework is not restricted to textual descriptions, and can also be applied to other forms knowledge representations. Our approach was applied for the challenging task of zero-shot learning of fine-grained categories from text descriptions of these categories.

研究の動機と目的

• 訓練画像を一切用いずに、テキスト記述を特権情報として活用することで、未学習クラスのゼロショット視覚認識を可能にすること。
• 画像レベルの属性アノテーションを完全に排除し、カテゴリレベルのテキスト記述のみに依存することで、画像レベルの属性アノテーションの必要性をなくすこと。
• テキスト埋め込みから直接視覚ドメインにおける明示的なカーネル化分類器を予測することで、新しいテスト画像への直接適用を可能にすること。
• ゼロショット転送のためのクラス記述間の意味的類似性を効果的に捉えるために、テキスト用の分布的意味的カーネル（DSカーネル）を考案すること。
• テキストおよび属性ベースの特権情報への適用を通じてフレームワークの柔軟性を示し、異なるモodal に対して堅牢な性能を示すこと。

提案手法

• 特権空間（例：テキストまたは属性）から視覚分類空間へのドメイン変換問題としてゼロショット学習を定式化し、カーネル化されたマッピング関数を用いる。
• 視覚空間における汎化性とロバスト性を向上させるために、ドメイン変換関数に1クラスSVMベースの調整を適用する。
• 事前学習済み単語埋め込み（例：GoogleNewsでのWord2Vec）を用いて、クラス記述間の意味的類似性を効果的に計算できる分布的意味的カーネル（DSカーネル）を導入する。
• 複数カーネル学習（MKL）を用いて、視覚特徴（例：CaffeのImageNetモデルからのCNN特徴）とカーネル化されたテキスト表現を統合し、分類器性能を向上させる。
• 予測された分類器が明示的なカーネル形式にあることを保証するため、レプレセーター定理を適用する。これにより、再訓練なしに新しいテスト画像に対して直接推論が可能になる。
• 画像属性や画像-テキストペアのアノテーションを必要とせず、カテゴリレベルの特権情報のみを用いてモデルを学習する。これにより、弱教師付き学習の枠組みとなる。

実験結果

リサーチクエスチョン

• RQ1 訓練画像を一切用いずに、未学習視覚クラスの非構造的テキスト記述から直接そのカーネル化分類器を予測できるか？
• RQ2 分布的意味的カーネルは、ゼロショット視覚分類の文脈で、テキスト記述間の意味的関係をどれほど効果的に捉えられるか？
• RQ3 特権情報から明示的なカーネル化分類器を予測するアプローチは、従来の属性ベースや埋め込みベースのゼロショット学習手法を上回る性能を発揮するか？
• RQ4 特権情報としてテキスト記述と構造的属性を使用した場合、フレームワークの性能にどのような差が生じるか？
• RQ5 カーネルおよび特徴表現の選択（例：RBF、TF-IDF、DSカーネル）がゼロショット分類精度に与える影響はどの程度か？

主な発見

• 本手法は、テキスト用に分布的意味的カーネルを適用し、画像用にRBFカーネルを用いることで、Birdsデータセットで5.35%のマルチクラス正解率を達成した。これは、線形分類器ベースライン（2.65%）および従来の最先端手法を著しく上回った。
• ノロウジら（2014）の手法（正解率2.3%）と比較して、ランダムベースライン比で132.6%の向上を達成した。
• 属性を特権情報として用いた場合、5.6%のマルチクラス正解率を達成し、DAPモデル（4.8%）を上回った。未学習クラスの再現率は8.6%上昇し、正解率は16.6%向上した。
• TF-IDFテキスト特徴にRBFカーネルを適用した場合に比べ、分布的意味的カーネルの使用により性能が27.3%向上した。これは、意味的注意を払ったテキストカーネルの価値を示している。
• 未学習クラスの平均再現率は76.7%に達し、DAPモデルの68.1%を上回った。これは、ゼロショット環境下での真陽性検出性能が優れていることを示している。
• 本手法の性能は、特権情報の質に強く依存しており、テキストよりも属性がより良い結果をもたらした。これは、より意味的で意味のある特権表現が、視覚分類器の転送性能を向上させることを支持する。