[論文レビュー] A simple coding for cross-domain matching with dimension reduction via spectral graph embedding

Hidetoshi Shimodaira|arXiv (Cornell University)|Dec 29, 2014

Neural Networks and Applications参考文献 21被引用数 5

ひとこと要約

本稿では、スペクトルグラフ埋め込みを用いた次元削減により、複数のドメインからのデータベクトルをゼロベクトルで拡張し、線形変換によって共通空間に投影する、シンプルだが効果的なクロスドメインマッチングのコーディング手法を提示する。この手法は、CCA、PCA、MCCAなどの多次元解析手法を統一し、交差検証を通じてK=2およびγ_M=0.1が共通空間におけるドメイン間類似度を最適に保持することを示している。

ABSTRACT

Data vectors are obtained from multiple domains. They are feature vectors of images or vector representations of words. Domains may have different numbers of data vectors with different dimensions. These data vectors from multiple domains are projected to a common space by linear transformations in order to search closely related vectors across domains. We would like to find projection matrices to minimize distances between closely related data vectors. This formulation of cross-domain matching is regarded as an extension of the spectral graph embedding to multi-domain setting, and it includes several multivariate analysis methods of statistics such as multiset canonical correlation analysis, correspondence analysis, and principal component analysis. Similar approaches are very popular recently in pattern recognition and vision. In this paper, instead of proposing a novel method, we will introduce an embarrassingly simple idea of coding the data vectors for explaining all the above mentioned approaches. A data vector is concatenated with zero vectors from all other domains to make an augmented vector. The cross-domain matching is solved by applying the single-domain version of spectral graph embedding to these augmented vectors of all the domains. An interesting connection to the classical associative memory model of neural networks is also discussed by noticing a coding for association. A cross-validation method for choosing the dimension of the common space and a regularization parameter will be discussed in an illustrative numerical example.

研究の動機と目的

• 複数のドメインにまたがるクロスドメインマッチングを統一的な枠組みで扱うために、多次セットの標準相関分析（MCCA）、対応分析、主成分分析（PCA）などの多変量解析手法を統合すること。
• 次元やベクトル数が異なるドメイン間でデータベクトルをマッチングする課題に取り組み、とくにマッチング重みがスパースまたは部分的に観測される場合に有効な手法を提供すること。
• 次元削減および共通空間への投影を実行する実用的で解釈可能な手法を提供し、クロスドメイン検索およびデータ統合を支援すること。
• 共通空間の次元Kおよび正則化パラメータγ_Mの最適選択のための交差検証戦略を開発し、未知のデータペアへの頑健な一般化を確保すること。

提案手法

• 各ドメインdのデータベクトルを、他のすべてのドメインからのゼロベクトルと連結することで、全ドメインにわたる統一されたベクトル表現を構築する。
• 拡張されたベクトルに対して単一ドメインのスペクトルグラフ埋め込みを適用し、多ドメイン問題を標準的なスペクトル埋め込み問題に変換する。
• 共通空間における投影されたベクトル間の重み付き二乗距離の和を最小化する目的関数を定式化する：φ(A) = ½ ∑∑∑∑ w_ij^de ||y_i^d - y_j^e||²。
• 過学習を防ぐために正則化項γ_M × ∑||A^d||_F²を導入し、とくにデータがスパースまたは高次元である場合に有効である。
• 最適化を安定化させるために、L_M^d = α_d I_p_d のブロック対角正則化行列を用い、α_dはドメイン固有のデータ分散から計算する。
• 交差検証として、非ゼロのマッチング重みの10%をランダムに再サンプリングし、一般化誤差を推定し、最適なKおよびγ_Mを選択する。

実験結果

リサーチクエスチョン

• RQ1 異なった次元とデータサイズを持つ複数のドメイン間でのクロスドメインマッチングを扱う統一的なフレームワークをどのように構築できるか？
• RQ2 提案手法とMCCA、CCA、PCAなどの古典的多変量解析手法との関係は何か？
• RQ3 共通空間の次元Kおよび正則化パラメータγ_Mを信頼性高く選択するにはどうすればよいか？一般化性能を確保するには？
• RQ4 マッチング重みがスパースまたは部分的に観測される場合に、提案されたコーディング手法が他の手法よりもドメイン間類似度をよりよく保持するか？
• RQ5 再サンプリングされた重みに基づく交差検証は、この設定における真の一般化誤差の不偏推定値を提供できるか？

主な発見

• ゼロ拡張ベクトルを用いたシンプルなコーディング戦略により、MCCA、CCA、PCAが一貫したスペクトル埋め込みフレームワークに統合された。
• 非ゼロ要素の10%を再サンプリングした交差検証により、K=2およびγ_M=0.1が最適であることが明確に特定され、数値例における真の誤差推定と一致した。
• K=2の場合、最初の2つの主成分（PC1およびPC2）が分散の95%を捉え、データに内在する5×5構造が明確に可視化されたが、PC3以降はほぼノイズに近かった。
• K=3またはK=4を用いた場合、ベクトル間距離に顕著な歪みが生じ、高次成分への過学習が検索性能を劣化させた。
• γ_M=0で目的関数φ_k(A, W)のフィッティング誤差が最小化されたが、この選択は未リンクペアの予測を著しく劣化させた。交差検証により、γ_M=0.1が最適であると正しく特定された。
• 交差検証誤差は真の誤差推定とよく一致しており、理論的裏付け（Shimodaira, 2015）とともに、Kおよびγ_Mの選択に最小限のバイアスをもたらす能力を裏付けた。