[論文レビュー] A Visual Embedding for the Unsupervised Extraction of Abstract Semantics

Dario García-Gasulla, Béjar, J.+5 more|arXiv (Cornell University)|Jul 31, 2015

Multimodal Machine Learning Applications参考文献 18被引用数 3

ひとこと要約

本論文は、GoogLeNetを用いて画像クラスの高次元・スパースなベクトル埋め込みを生成することで、深層ニューラルネットワーク特徴量から抽象的な視覚的意味を抽出する手法を提案する。この埋め込みは、言語的教師なし条件下でも、類似した概念（例：118種類の犬の品種）をクラスタリングし、生き物とそうでないものといった高レベルのカテゴリを無教師で分離するという意味的関係を捉えている。これにより、視覚的推論や認知システムへの応用が可能になる。

ABSTRACT

Vector-space word representations obtained from neural network models have been shown to enable semantic operations based on vector arithmetic. In this paper, we explore the existence of similar information on vector representations of images. For that purpose we define a methodology to obtain large, sparse vector representations of image classes, and generate vectors through the state-of-the-art deep learning architecture GoogLeNet for 20K images obtained from ImageNet. We first evaluate the resultant vector-space semantics through its correlation with WordNet distances, and find vector distances to be strongly correlated with linguistic semantics. We then explore the location of images within the vector space, finding elements close in WordNet to be clustered together, regardless of significant visual variances (e.g. 118 dog types). More surprisingly, we find that the space unsupervisedly separates complex classes without prior knowledge (e.g. living things). Afterwards, we consider vector arithmetics. Although we are unable to obtain meaningful results on this regard, we discuss the various problem we encountered, and how we consider to solve them. Finally, we discuss the impact of our research for cognitive systems, focusing on the role of the architecture being used.

研究の動機と目的

• 深層ニューラルネットワーク特徴量が、自然言語処理における単語ベクトルに類似した抽象的視覚的意味を符号化できるかどうかを検討すること。
• 事前学習済みCNN特徴量から画像クラスの高次元・スパースなベクトル表現を生成するための手法論を構築すること。
• これらの視覚的埋め込みが、明示的な教師なし条件下でも言語的および概念的意味を反映しているかどうかを評価すること。
• これらの埋め込みが、概念の発見や視覚的推論といった高レベル認知的タスクにどのように応用できるかを調査すること。
• ベクトル演算を視覚的埋め込みに適用する際の制限を特定し、今後の改善の方向性を提案すること。

提案手法

• 22層のCNNである事前学習済みGoogLeNetを用い、データセットに含まれる各画像について、全層からの活性化値を抽出する。
• 全層にわたる特徴量活性化を統合・正規化し、1つの高次元ベクトルとして画像クラスごとに生成する。
• ImageNetの20,000個の画像クラスに対して、100万を超える次元を持つスパースなベクトル空間表現を構築する。
• クラスタリングアルゴリズムを用いてベクトル空間内の意味的構造を分析し、意味的距離に基づいた類似度を評価する。
• ベクトル距離とWordNetの意味的距離の相関を測ることで、意味的整合性を評価する。
• 埋め込み空間内での画像クラスの空間的配置を分析し、抽象的概念の無教師クラスタリングを検出する。

実験結果

リサーチクエスチョン

• RQ1 深層CNN特徴量は、単なる分類を超えた抽象的視覚的意味を符号化できるか？
• RQ2 埋め込み空間内のベクトル距離が、人間によるアノテーションによる意味的距離（例：WordNet）とどの程度相関しているか？
• RQ3 視覚的変動（例：118種類の犬の品種）が著しいにもかかわらず、埋め込み空間が意味的に関連する画像クラスを無教師でクラスタリングできるか？
• RQ4 生き物とそうでないものといった高レベルの意味的カテゴリが、それらのラベルを事前に学習しなくても、埋め込み空間で自然に分離されるか？
• RQ5 視覚的埋め込みにベクトル演算（例：類推）を適用する際の制限は何か。また、それらをどのように是正できるか？

主な発見

• 学習された埋め込み空間内のベクトル距離は、WordNetの意味的距離と強く相関しており、埋め込みが言語的意味を保持していることが示された。
• 視覚的変動（サイズ、色、ポーズの違い）が著しいにもかかわらず、すべての118種類の犬の品種といった意味的に類似した画像クラスが、埋め込み空間内でクラスタリングされている。
• モデルは、生き物と非生物といった高レベルカテゴリを、事前のラベル学習なしに無教師で分離しており、抽象的で視覚的でない特徴を捉えている可能性を示唆している。
• 埋め込み空間は、サブシンボリックな視覚的特徴を統合してシンボリックに似た概念的表現を生成することで、抽象的意味を表現できることを示した。
• 視覚的埋め込みに対してベクトル演算を実行したところ、意味のある結果は得られず、視覚データにこのような演算を適用する際の課題が浮き彫りになった。
• 本手法により、サブシンボリックなピクセルレベルのデータが高レベルのシンボリック知識に変換可能であり、視覚的推論やゼロショット学習への応用が可能になることが示された。