[論文レビュー] Unsupervised learning on neural network outputs: with application in zero-shot learning

Yao Lu|arXiv (Cornell University)|Jul 9, 2016

Domain Adaptation and Few-Shot Learning参考文献 26被引用数 28

ひとこと要約

この論文では、ImageNetで訓練されたニューラルネットワークの出力に教師なし学習を適用することで、視覚的意味的構造を発見する手法を提案している。PCAとICAをImageNetで訓練されたネットワークのログイットに適用し、共有される視覚的特徴を抽出する。この手法により、学習済みの埋め込みを視覚的プロトタイプとして活用することで、20,000クラスを超えるImageNetで最先端のゼロショット学習が実現される。

ABSTRACT

The outputs of a trained neural network contain much richer information than just a one-hot classifier. For example, a neural network might give an image of a dog the probability of one in a million of being a cat but it is still much larger than the probability of being a car. To reveal the hidden structure in them, we apply two unsupervised learning algorithms, PCA and ICA, to the outputs of a deep Convolutional Neural Network trained on the ImageNet of 1000 classes. The PCA/ICA embedding of the object classes reveals their visual similarity and the PCA/ICA components can be interpreted as common visual features shared by similar object classes. For an application, we proposed a new zero-shot learning method, in which the visual features learned by PCA/ICA are employed. Our zero-shot learning method achieves the state-of-the-art results on the ImageNet of over 20000 classes.

研究の動機と目的

• 標準的な分類ログイットを超えて、ニューラルネットワーク出力に隠された意味的構造を解明すること。
• ネットワーク出力における教師なし表現学習が、意味のある視覚的特徴の関係を明らかにできるかを検討すること。
• PCA/ICAから得られる視覚的特徴を用いて、未学習のクラスを対象とした新しいゼロショット学習フレームワークを構築すること。
• 大規模なゼロショット学習ベンチマークで最先端のパフォーマンスを達成すること。

提案手法

• ImageNetの1,000クラスで事前学習された深層畳み込みニューラルネットワークの最終層ログイットにPCAとICAを適用する。
• 得られた主成分および独立成分を、物体クラス間で共有される視覚的特徴として使用する。
• PCA/ICA成分を、意味的に類似したクラス間で共有される一般的な視覚的属性として解釈する。
• 未学習クラスの埋め込みを、学習済みのPCA/ICA空間を用いて予測するゼロショット学習モデルを構築する。
• 埋め込み空間内の意味的構造を活用することで、未学習クラスへの一般化をモデルに学習させる。
• 20,000クラスを超えるImageNetのゼロショットベンチマークで手法を評価する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワーク出力に対する教師なし学習が、意味のある視覚的意味的構造を明らかにできるか？
• RQ2 ネットワークログイットのPCAおよびICA成分が、類似した物体クラス間で共有される解釈可能な視覚的特徴に対応しているか？
• RQ3 学習されたPCA/ICA埋め込みが、未学習クラスへのゼロショット一般化を向上させられるか？
• RQ4 この手法は、既存の最先端のゼロショット学習手法と比較してどのように差をつけるか？

主な発見

• ImageNetのネットワーク出力にPCAとICAを適用することで、物体クラス間の意味的類似性を反映する共有視覚的特徴が効果的に抽出された。
• PCA/ICA成分は、テクスチャや形状のパターンといった、意味的に関連するクラス間で共有される一般的な視覚的属性として解釈可能である。
• 提案されたゼロショット学習手法は、20,000クラスを超える大規模なImageNetベンチマークで最先端のパフォーマンスを達成した。
• 教師なし解析による分離され構造化された表現を活用することで、未学習クラスへの強い一般化性能を示した。