[論文レビュー] Learning Deep Representations of Fine-grained Visual Descriptions

Scott Reed, Zeynep Akata+2 more|arXiv (Cornell University)|May 17, 2016

Domain Adaptation and Few-Shot Learning参考文献 53被引用数 146

ひとこと要約

この論文は、エンドツーエンドの深層言語モデルを最初から訓練して、細粒度のテキスト記述を画像と整合させ、CUBとFlowersで手動属性を使用せずに最先端のゼロショット認識と検索を達成します。

ABSTRACT

State-of-the-art methods for zero-shot visual recognition formulate learning as a joint embedding problem of images and side information. In these formulations the current best complement to visual features are attributes: manually encoded vectors describing shared characteristics among categories. Despite good performance, attributes have limitations: (1) finer-grained recognition requires commensurately more attributes, and (2) attributes do not provide a natural language interface. We propose to overcome these limitations by training neural language models from scratch; i.e. without pre-training and only consuming words and characters. Our proposed models train end-to-end to align with the fine-grained and category-specific content of images. Natural language provides a flexible and compact way of encoding only the salient visual aspects for distinguishing categories. By training on raw text, our model can do inference on raw text as well, providing humans a familiar mode both for annotation and retrieval. Our model achieves strong performance on zero-shot text-based image retrieval and significantly outperforms the attribute-based state-of-the-art for zero-shot classification on the Caltech UCSD Birds 200-2011 dataset.

研究の動機と目的

• 豊富な細粒度の視覚記述を用いてゼロから訓練した高容量のテキストモデルで、属性ベースの副情報を置換する動機づけ。
• ゼロショット認識と検索のために、画像とテキストを共同でエンコードする対称的な Deep Structured Joint Embedding (DS-SJE) を開発する。
• 鳥と花の細粒度視覚記述データセットを収集し、複数のテキストエンコーダをエンドツーエンドで評価する。
• テキストベースの埋め込みが、CUB でのゼロショット分類において属性ベースの最先端を上回り、検索性能でも競争力があることを示す。

提案手法

• 共有スコアリング関数 F(v,t)=θ(v)^Tφ(t) を用いて、画像-テキストとテキスト-画像の適合性を最大化する対称的な目的関数 DS-SJE を導入する。
• 画像エンコーダを固定したまま（GoogLeNet 特徴量を使用）、テキストエンコーダ（CNN、CNN-RNN、LSTM）をゼロからエンドツーエンドで訓練する。
• 細粒度の記述をエンコードするための3つのテキストモデル系を提供する: Word-CNN、Char-CNN、および CNN-RNN の変種。
• DS-SJE を最適化するため、式 5–7 の凸代替損失を用い、ミニバッチで SGD/RMSprop を適用する。
• 各画像につき十の単一文の細粒度記述を収集し、CUB と Flowers でゼロショット分類と検索を評価する。

実験結果

リサーチクエスチョン

• RQ1 高容量でスクラッチから訓練された細粒度記述用のテキストエンコーダは、ゼロショット分類において属性ベースの手法との差を縮められるか？
• RQ2 対称的な画像-テキスト埋め込み（DS-SJE）は、非対称な variants に比べてゼロショット認識と検索を改善するか？
• RQ3 細粒度の記述を用いて訓練した場合、どのテキストエンコーディングアーキテクチャがゼロショット学習と検索を最もよくサポートするか？
• RQ4 学習テキストデータの量は、モデル間でゼロショットの性能にどのように影響するか？
• RQ5 テストラベル埋め込みを用いずに、テキスト記述だけでゼロショット検索を効果的に行うことは可能か？

主な発見

• DS-SJE は、テキストモデル全体で非対称バリアントよりゼロショット検索を一貫して改善する。
• Char-CNN-RNN および Word-CNN-RNN が最高性能を達成し、DS-SJE は CUB の分類で属性ベースの最先端を上回る。
• Word-CNN-RNN が分類と検索のゼロショット全体性能で最良を示す（より多くのキャプションで訓練した場合）。
• Flowers では、Word-LSTM および Word-CNN-RNN 変種が最先端に近い結果を達成し、DS-SJE は強い検索性能を提供する。
• 画像あたりの学習文を増やすとニューラル テキストエンコーダの性能が向上し、ゼロショットタスクで BoW および word2vec のベースラインを上回ることが多い。
• 鳥と花の細粒度視覚記述データセットを収集し、テキストエンコーダのエンドツーエンド訓練を可能にした。