[論文レビュー] Predicting Deep Zero-Shot Convolutional Neural Networks using Textual Descriptions

Jimmy Ba, Kevin Swersky+2 more|arXiv (Cornell University)|Jun 1, 2015

Domain Adaptation and Few-Shot Learning参考文献 40被引用数 136

ひとこと要約

本論文は、Wikipediaの記事などのテキスト記述から直接、畳み込み層および全結合層の分類器重みを予測する、新しいゼロショット学習フレームワークを提案する。手動で定義された属性を必要とせず、CUB-200-2010およびOxford Flowersデータセットでエンドツーエンド学習を実施し、マルチレイヤーCNN特徴を活用することで、ROC-AUCおよび精度再現率指標において最先端の性能を達成し、従来手法を著しく上回る。

ABSTRACT

One of the main challenges in Zero-Shot Learning of visual categories is gathering semantic attributes to accompany images. Recent work has shown that learning from textual descriptions, such as Wikipedia articles, avoids the problem of having to explicitly define these attributes. We present a new model that can classify unseen categories from their textual description. Specifically, we use text features to predict the output weights of both the convolutional and the fully connected layers in a deep convolutional neural network (CNN). We take advantage of the architecture of CNNs and learn features at different layers, rather than just learning an embedding space for both modalities, as is common with existing approaches. The proposed model also allows us to automatically generate a list of pseudo- attributes for each visual category consisting of words from Wikipedia articles. We train our models end-to-end us- ing the Caltech-UCSD bird and flower datasets and evaluate both ROC and Precision-Recall curves. Our empirical results show that the proposed model significantly outperforms previous methods.

研究の動機と目的

• オンライン百科事典（例：Wikipedia）から得られる豊富なテキストデータを活用することで、大規模な画像データセットにおける細分化された視覚的アノテーションの収集の課題を軽減すること。
• ゼロショット学習における手動で定義された属性の必要性を排除し、テキスト記述から自動的に擬似属性を生成すること。
• テキスト特徴を用いて畳み込み層および全結合層の両方の重みを予測することで、ゼロショット分類性能を向上させること。
• 複数のCNNレイヤーにおける損失関数および特徴統合戦略の違いが分類性能に与える影響を評価すること。
• テキストベースのモデルが、視覚的特徴と整合する意味的に意味のある表現を学習できることを示すこと。

提案手法

• モデルは、Wikipediaの記事からのTF-IDF特徴を処理するためのマルチレイヤーパーセプトロン（MLP）を用い、CNNの最終全結合層および中間畳み込み層の分類器重みを予測する。
• 学習済みフィルタ（テキストから予測）を中間CNN特徴マップに適用し、グローバル平均プーリングによりスコアを計算する畳み込み分類器を導入する。
• ゼロショット一般化と既知クラスのドメイン内性能の両方を最適化するための統合損失関数を用いて、エンドツーエンドでモデルを学習する。
• 複数のCNNレイヤーからの特徴を統合し、分類性能に与える影響を実証的に評価する。
• テキスト入力からの語の削除に伴う分類性能の感度を測定することで、擬似属性を特定する。これにより、識別に寄与する重要な語が同定される。
• テキスト特徴が画像分類器重みを予測する統合埋め込み空間を学習し、学習画像を必要とせずにゼロショット推論を可能にする。

実験結果

リサーチクエスチョン

• RQ1 畳み込みニューラルネットワークが、Wikipediaの記事などの生のテキスト記述から直接CNN分類器重みを予測できるか。これによりゼロショット画像分類が可能になるか。
• RQ2 畳み込み層および全結合層の両方の重みを予測することで、最終層のみの重み予測に比べ、ゼロショット一般化性能が向上するか。
• RQ3 モデルがテキストから視覚的特徴と相関する意味のある擬似属性を自動で発見できるか。
• RQ4 異なる損失関数（例：トライアングル損失、コントラスト損失）が、ゼロショットおよびリtrievalベンチマークにおける性能に与える影響は。
• RQ5 異なるCNNレイヤーからの特徴が、分類精度および耐障害性の向上にどの程度寄与するか。

主な発見

• 全データセットで学習した場合、Oxford FlowersデータセットでAUC-ROCが0.77、CUB-200-2010で0.66を達成し、従来の最先端手法を上回る。
• CUB-200-2010データセットでは、統合fc+convモデルで平均平均適合率（mAP）が0.62を達成し、従来手法を著しく上回る。
• 既知クラスにおけるモデルの性能（トップ1正解率約60％）は、追加のアノテーションを用いる最先端の細分化分類器と同等の水準である。
• 感度分析の結果、'tanager'、'purplish'、'variable'などの語が、未学習の鳥種の分類において顕著に影響を与えることが判明し、効果的な擬似属性発見が確認された。
• 予測された重みを用いて類似度が高い画像を可視化した結果、視覚的に類似したクラスが正しく検索された。これは、テキスト埋め込みが意味的かつ視覚的な関係を適切に捉えていることを裏付けている。
• 複数のCNNレイヤーからの特徴を統合することで性能が向上し、特に中間畳み込み特徴と最終全結合層特徴の両方を組み合わせた場合に最高の結果が得られた。