[論文レビュー] flexgrid2vec: Learning Efficient Visual Representations Vectors

Ali Hamdi, Du Yong Kim+1 more|arXiv (Cornell University)|Jul 30, 2020

Domain Adaptation and Few-Shot Learning参考文献 92被引用数 8

ひとこと要約

flexgrid2vec は、キーポイントに由来する柔軟なグリッドグラフを構築し、マルチチャネル GCN を用いてノード埋め込みを集約することで、コン pact で効率的な視覚的表現を学習する、新しい GNN ベースの手法を提案する。複数のベンチマークで最先端の性能を達成しており、CIFAR-10 では 96.23%、ASIRRA では 98.8% の精度を示しており、低解像度および不均衡なデータセットでも有効である。

ABSTRACT

We propose flexgrid2vec, a novel approach for image representation learning. Existing visual representation methods suffer from several issues, including the need for highly intensive computation, the risk of losing in-depth structural information and the specificity of the method to certain shapes or objects. flexgrid2vec converts an image to a low-dimensional feature vector. We represent each image with a graph of flexible, unique node locations and edge distances. flexgrid2vec is a multi-channel GCN that learns features of the most representative image patches. We have investigated both spectral and non-spectral implementations of the GCN node-embedding. Specifically, we have implemented flexgrid2vec based on different node-aggregation methods, such as vector summation, concatenation and normalisation with eigenvector centrality. We compare the performance of flexgrid2vec with a set of state-of-the-art visual representation learning models on binary and multi-class image classification tasks. Although we utilise imbalanced, low-size and low-resolution datasets, flexgrid2vec shows stable and outstanding results against well-known base classifiers. flexgrid2vec achieves 96.23% on CIFAR-10, 83.05% on CIFAR-100, 94.50% on STL-10, 98.8% on ASIRRA and 89.69% on the COCO dataset.

研究の動機と目的

• 畳み込みニューラルネットワーク（CNN）および既存の GNN ベースの視覚的表現手法における限界、例えば剛性の高いグリッド構造、高い計算コスト、構造的情報の損失を解消すること。
• 空間的関係を保持しつつ、最も代表的な画像パッチからのみ特徴を学習する手法を開発すること。
• 事前に定義された意味的ラベルに依存せずに、グローバルおよびローカルの構造的情報を保持する、柔軟で低次元の視覚的表現を構築すること。
• 多様でリソースが限られたデータセット上で提案手法を評価し、実世界のシナリオにおける頑健性と効率性を示すこと。

提案手法

• ノードが画像内のキーポイント位置に対応する 2D グリッドグラフを構築し、空間座標を保持することで、ノードの配置を柔軟に可能にする。
• 検出されたキーポイントの周囲から画像パッチを抽出し、各パッチに対して複数の CNN を用いて畳み込み特徴を計算する。
• 隣接ノードからの特徴を集約することでノード埋め込みを学習するため、グラフ畳み込みネットワーク（GCN）を適用する。集約手法にはベクトルの和、連結、固有ベクトル中心性による正規化が含まれる。
• スペクトルおよび非スペクトルの GCN 実装を用いてノード表現を学習し、複数の集約戦略（Agg1、Agg2、EVC1、EVC2）とその正則化された変種を用いる。
• すべてのノード埋め込みを集約して 1×512 の特徴ベクトルを生成し、下流の分類タスクに適したコンパクトな表現を実現する。
• 学習済み表現の可視化に PCA を用い、COCO や ASIRRA のような不均衡なデータセットにおける識別力の高さを示す。

実験結果

リサーチクエスチョン

• RQ1 柔軟なグリッドグラフ表現と GCN 学習を組み合わせることで、計算コストを低減しつつ構造的情報を保持できるか？
• RQ2 flexgrid2vec は、低解像度、不均衡、小規模なデータセットにおいて、最先端のモデルと比較してどの程度の性能を示すか？
• RQ3 集約戦略（例：和、固有ベクトル中心性）や埋め込み戦略が、モデルの精度と効率性に与える影響は何か？
• RQ4 flexgrid2vec は、二値分類および多クラス分類を含む多様な画像分類タスクにどの程度一般化できるか？
• RQ5 事前に定義されたオブジェクトラベルなしで、非構造的かつ意味的でない画像から、discriminative 特徴を効果的に学習できるか？

主な発見

• flexgrid2vec は、低解像度および不均衡なデータを用いても CIFAR-10 で 96.23% のテスト精度を達成し、多くの最先端モデルを上回る性能を示している。
• CIFAR-100 では 83.05% の精度を達成しており、多クラスで細分化された画像分類において優れた性能を示している。
• ASIRRA データセットでは 98.8% の精度を達成しており、クラスの不均衡や低解像度入力に対しても高い頑健性を示している。
• COCO データセットでは 89.69% の精度を達成しており、極めて不均衡で複雑な視覚的データに対しても有効性を示している。
• Agg1R および EVC1R の集約手法が最も高い性能を示し、それぞれ ASIRRA で 98.8% および 97.9% の精度を記録しており、正則化された集約の有効性が確認された。
• パッチサイズを 64×64 から 32×32 に縮小すると、精度が 90.1% から 98.8% に向上し、より小さく焦点を当てたパッチが表現品質を向上させることを示している。