[論文レビュー] Building Graph Representations of Deep Vector Embeddings

Dario García-Gasulla, Armand Vilalta+6 more|arXiv (Cornell University)|Jul 24, 2017

Advanced Graph Neural Networks参考文献 19被引用数 4

ひとこと要約

本稿では、深層畳み込みニューラルネットワーク（CNN）の埋め込みをトポロジカルなグラフ構造に変換する新規手法を提案する。これにより、画像データに対してグラフ解析、特にコミュニティ検出を適用可能になる。全ネットワーク埋め込みを用い、空間的プーリング、標準化、離散化を行うことで、ノードが画像と特徴を表し、エッジが意味的・構造的関係を符号化するグラフを構築する。主な結果として、このグラフ上でFluidCコミュニティ検出を実行したところ、ベンチマークデータセットで中程度から高いNMI（最大0.54）およびAMI（最大0.46）のスコアを達成し、深層表現から意味的に意味のあるクラスタをグラフトポロジを用いて抽出可能であることを示した。

ABSTRACT

Patterns stored within pre-trained deep neural networks compose large and powerful descriptive languages that can be used for many different purposes. Typically, deep network representations are implemented within vector embedding spaces, which enables the use of traditional machine learning algorithms on top of them. In this short paper we propose the construction of a graph embedding space instead, introducing a methodology to transform the knowledge coded within a deep convolutional network into a topological space (i.e. a network). We outline how such graph can hold data instances, data features, relations between instances and features, and relations among features. Finally, we introduce some preliminary experiments to illustrate how the resultant graph embedding space can be exploited through graph analytics algorithms.

研究の動機と目的

• 深層ニューラルネットワーク表現が、新たな種類の解析を可能にするトポロジカルなグラフとして効果的にモデル化できるかどうかを検討すること。
• 事前学習済みCNNから画像、特徴、およびそれらの関係を捉えるグラフ埋め込み空間を構築するための手法を開発すること。
• コミュニティ検出のようなグラフベースのアルゴリズムが、深層埋め込みから意味的・一貫性のあるクラスタを抽出できるかどうかを評価すること。
• 埋め込みのグラフ表現が、従来のベクトルベースの手法とは異なる学習パラダイムを可能にすることを示すこと。

提案手法

• 本手法は、事前学習済みCNN（例：VGG16）の全畳み込み層および全結合層の活性化を統合する全ネットワーク埋め込み（FNE）を用いる。
• 畳み込み層出力に対して空間的平均プーリングを適用し、次元削減と各層間での特徴表現の統一を図る。
• ニューロン活性化の標準化により、出力層の高活性化ニューロンによる支配を防ぎ、各層間でのバランスを保つ。
• 固定しきい値（-0.25、0.15）を用いて各特徴を-1、0、1にマッピングすることで、ノイズ低減と埋め込み空間の正則化を実現する。
• ノードとして画像インスタンスと特徴を、埋め込み空間全体における共活性パターンに基づいてエッジを形成するグラフを構築する。
• グラフはFluidCコミュニティ検出アルゴリズムを用いて解析され、トポロジカルな接続性に基づいて一貫性のあるノード群を同定する。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークの埋め込みを、意味的・構造的関係を保持するトポロジカルなグラフ構造に効果的に変換できるか？
• RQ2 コミュニティ検出のようなグラフ解析アルゴリズムが、このようなグラフ表現に適用された場合、画像データにおける意味的クラスタをどれほど正確に特定できるか？
• RQ3 グラフベースの表現が、従来のベクトル空間クラスタリング（例：K-means）とは意味的に異なるクラスタを発見できるか？
• RQ4 全ネットワーク埋め込みを入力として用いた場合、画像データセットにおけるグラフベースのクラスタリングの性能はいかがなものか？

主な発見

• グラフ表現は、画像インスタンスと特徴、およびそれらの相互関係を、1つのトポロジカル構造に効果的に符号化した。
• FluiddCコミュニティ検出アルゴリズムは、flowers102データセットで0.54の正規化相互情報量（NMI）スコアを達成し、正解ラベルと強い一致を示した。
• mit67データセットではNMIが0.44、AMIが0.36であり、多様な画像カテゴリにわたり一貫性のあるが中程度の性能を示した。
• テクスチャデータセットではNMIが0.42、AMIが0.37であったため、異なる視覚ドメインにわたり一般化可能であることが示唆された。
• ウッドデータセットでは性能が低かった（NMI 0.26、AMI 0.20）、おそらくクラスの不均衡や埋め込み空間内の識別信号の低さが要因と考えられる。
• 結果として、距離メトリクスに依存しないで、グラフベースの解析によって深層埋め込みから意味的に意味のあるクラスタを抽出可能であることが示された。これは、従来とは異なる学習パラダイムの可能性を示している。