[論文レビュー] Unsupervised Learning on Neural Network Outputs

Yao Lu|arXiv (Cornell University)|Jun 2, 2015

Domain Adaptation and Few-Shot Learning参考文献 31被引用数 12

ひとこと要約

この論文では、ImageNetで訓練された深層畳み込みニューラルネットワーク（CNN）の出力に主成分分析（PCA）および独立成分分析（ICA）を適用することで、物体クラス間の隠れた視覚的類似性を解明することを提案する。ネットワークの確率的出力から共有される視覚的特徴を学習することで、2万クラスを超えるImageNet拡張データセットにおいて、ニューラルネットワーク予測に埋め込まれた構造的意味的関係を活用し、最先端のゼロショット学習性能を達成する。

ABSTRACT

The outputs of a trained neural network contain much richer information than just an one-hot classifier. For example, a neural network might give an image of a dog the probability of one in a million of being a cat but it is still much larger than the probability of being a car. To reveal the hidden structure in them, we apply two unsupervised learning algorithms, PCA and ICA, to the outputs of a deep Convolutional Neural Network trained on the ImageNet of 1000 classes. The PCA/ICA embedding of the object classes reveals their visual similarity and the PCA/ICA components can be interpreted as common visual features shared by similar object classes. For an application, we proposed a new zero-shot learning method, in which the visual features learned by PCA/ICA are employed. Our zero-shot learning method achieves the state-of-the-art results on the ImageNet of over 20000 classes.

研究の動機と目的

• 教師あり学習で明示的にラベル付けされていない物体クラス間の隠れた意味的および視覚的関係を解明すること。
• 訓練済みの深層CNNの確率的出力が分類を超えて視覚的類似性に関する構造的情報を保持しているかどうかを検証すること。
• ネットワーク出力における教師なし表現学習を活用して、一般化された認識を実現するゼロショット学習手法を開発すること。
• ニューラルネットワーク予測における意味的関係をモデル化することで、大規模かつオープンボキャブラリーな画像分類におけるゼロショット学習性能を向上させること。

提案手法

• 訓練済みのImageNet CNNの出力確率に主成分分析（PCA）を適用し、物体クラス間の視覚的類似性を捉える低次元埋め込みを抽出すること。
• 同じ出力に独立成分分析（ICA）を適用し、意味的に類似したクラス間で共有される統計的に独立した視覚的特徴を同定すること。
• 主成分および独立成分を、テクスチャや形状、部分といった、類似した物体カテゴリに共通する共有視覚的特徴として解釈すること。
• PCA/ICA埋め込みを意味的ベクトルとして用い、未学習のカテゴリのクラス表現を予測するゼロショット学習フレームワークを構築すること。
• PCA/ICAから得られた視覚的特徴を用いてゼロショット分類器を学習し、トレーニング時に見られなかった物体カテゴリに一般化すること。

実験結果

リサーチクエスチョン

• RQ1 ImageNetで訓練された深層CNNの出力確率は、物体クラス間の意味的な視覚的類似性を有意義に明らかにできるか？
• RQ2 CNN出力の主成分および独立成分は、意味的に類似したクラス群に共通する解釈可能な視覚的特徴に対応しているか？
• RQ3 CNN出力に対する教師なし表現学習は、未学習クラスへのゼロショット一般化を向上させることができるか？
• RQ4 本手法は、大規模かつオープンボキャブラリーなベンチマークにおいて、既存のゼロショット学習手法と比較して精度で優れているか？

主な発見

• CNN出力のPCAおよびICA成分は、テクスチャ、形状、部分といった、意味的に類似した物体クラスに共通する解釈可能な視覚的特徴に対応している。
• PCA/ICAによって明らかにされた視覚的類似性構造は、人間がアノテートした物体カテゴリ間の意味的関係とよく一致している。
• 提案手法は、2万クラスを超える拡張ImageNetにおいて、最先端の性能を達成した。
• 本手法は、ニューラルネットワーク出力からの構造的意味的情報を利用することで、従来のゼロショット学習手法を著しく上回った。