[논문 리뷰] A simple coding for cross-domain matching with dimension reduction via spectral graph embedding

Hidetoshi Shimodaira|arXiv (Cornell University)|2014. 12. 29.

Neural Networks and Applications참고 문헌 21인용 수 5

한 줄 요약

이 논문은 스펙트럴 그래프 임bedding를 사용한 차원 축소를 통해 교차 도메인 매칭을 위한 단순하면서도 효과적인 코딩 방법을 제시한다. 여기서 다수의 도메인에서 온 데이터 벡터는 영벡터와 결합되어 통합된 공간으로 투영된다. 이 방법은 CCA, PCA, MCCA와 같은 다변량 분석 기법들을 통합하며, 교차 검증을 통해 K=2 및 γ_M=0.1을 선택할 경우 공통 공간에서 도메인 간 유사성을 최적으로 유지함을 보여준다.

ABSTRACT

Data vectors are obtained from multiple domains. They are feature vectors of images or vector representations of words. Domains may have different numbers of data vectors with different dimensions. These data vectors from multiple domains are projected to a common space by linear transformations in order to search closely related vectors across domains. We would like to find projection matrices to minimize distances between closely related data vectors. This formulation of cross-domain matching is regarded as an extension of the spectral graph embedding to multi-domain setting, and it includes several multivariate analysis methods of statistics such as multiset canonical correlation analysis, correspondence analysis, and principal component analysis. Similar approaches are very popular recently in pattern recognition and vision. In this paper, instead of proposing a novel method, we will introduce an embarrassingly simple idea of coding the data vectors for explaining all the above mentioned approaches. A data vector is concatenated with zero vectors from all other domains to make an augmented vector. The cross-domain matching is solved by applying the single-domain version of spectral graph embedding to these augmented vectors of all the domains. An interesting connection to the classical associative memory model of neural networks is also discussed by noticing a coding for association. A cross-validation method for choosing the dimension of the common space and a regularization parameter will be discussed in an illustrative numerical example.

연구 동기 및 목표

• 다양한 다변량 분석 기법—다중집합 캐논리컬 상관분석(MCCA), 대응분석, 주성분분석(PCA)—을 교차 도메인 매칭을 위한 단일 프레임워크로 통합하는 것.
• 차원과 벡터 수가 다른 도메인 간 데이터 벡터를 매칭하는 데 도전하는 문제를 해결하는 것, 특히 매칭 가중치가 희박하거나 부분적으로 관측되는 경우에 유의미한 결과를 도출하는 것.
• 차원 축소와 공통 공간 투영을 위한 실용적이고 해석 가능한 방법을 제공하여 교차 도메인 검색 및 데이터 융합을 지원하는 것.
• 공통 공간의 최적 차원 K와 정규화 파라미터 γ_M를 선택하기 위한 교차 검증 전략을 개발하는 것. 이는 새로운 데이터 쌍에 대한 강건한 일반화를 보장하기 위함이다.

제안 방법

• 모든 다른 도메인의 영벡터를 결합하여 도메인 d의 각 데이터 벡터를 증강함으로써, 모든 도메인 간 통합된 벡터 표현을 생성한다.
• 증강된 벡터에 대해 단일 도메인 스펙트럴 그래프 임베딩를 적용하여, 다도메인 문제를 표준 스펙트럴 임베딩 문제로 변환한다.
• 공통 공간에서 투영된 벡터 간의 가중 평균 제곱 거리의 합을 최소화하는 목적 함수를 설정한다: φ(A) = ½ ∑∑∑∑ w_ij^de ||y_i^d - y_j^e||².
• 과적합을 방지하기 위해 정규화 항 γ_M × ∑||A^d||_F²을 도입한다. 특히 데이터가 희박하거나 고차원일 경우 유용하다.
• 최적화를 안정화하기 위해 블록 대각 정규화 행렬 L_M^d = α_d I_p_d를 사용하며, α_d는 도메인별 데이터 분산으로부터 계산된다.
• 교차 검증을 위해 비제로 매칭 가중치의 10%를 무작위로 재표본 추출하여 일반화 오차를 추정하고 최적의 K와 γ_M를 선택한다.

실험 결과

연구 질문

• RQ1 이질적인 차원과 데이터 크기를 가진 다수의 도메인 간 교차 도메인 매칭을 다룰 수 있는 통합 프레임워크를 어떻게 구성할 수 있는가?
• RQ2 제안된 방법과 MCCA, CCA, PCA와 같은 고전적 다변량 분석 기법 간의 관계는 무엇인가?
• RQ3 공통 공간의 차원 K와 정규화 파라미터 γ_M를 신뢰성 있게 선택하여 양호한 일반화 성능을 확보할 수 있는가?
• RQ4 매칭 가중치가 희박하거나 부분적으로 관측되는 경우, 제안된 코딩 방법이 다른 접근 방식보다 도메인 간 유사성을 더 잘 유지하는가?
• RQ5 재표본화된 가중치에 대한 교차 검증은 이 설정에서 진짜 일반화 오차를 편향 없이 추정할 수 있는가?

주요 결과

• 영벡터로 증강된 벡터를 사용하는 단순한 코딩 전략을 통해, 이 방법은 스펙트럴 임베딩 프레임워크 내에서 MCCA, CCA, PCA를 성공적으로 통합한다.
• 비제로 요소의 10%를 재표본 추출한 교차 검증이 K=2 및 γ_M=0.1을 최적으로 식별했으며, 이는 수치 예제에서의 진짜 오차 추정과 일치한다.
• K=2일 때, 첫 번째 및 두 번째 주성분(PC1 및 PC2)이 분산의 95%를 설명하며 데이터 내부의 5×5 구조를 명확히 드러내지만, PC3 이후 성분들은 거의 잡음에 가깝다.
• K=3 또는 K=4를 사용할 경우 상대적으로 벡터 간 거리가 심각하게 왜곡되어, 고차 성분에 과적합됨으로써 검색 성능이 떨어지는 것을 확인했다.
• γ_M=0일 때는 피팅 오차 φ_k(A, W)가 최소가 되지만, 이 경우 연결되지 않은 쌍의 예측 성능이 열악하다. 교차 검증은 정확히 γ_M=0.1을 최적으로 선택했다.
• 교차 검증 오차는 진짜 오차 추정과 매우 유사하게 나타났으며, 이는 이론적 근거(Shimodaira, 2015)에 의해 뒷받침되는 바와 같이, K와 γ_M를 최소한의 편향으로 신뢰성 있게 선택할 수 있음을 검증한다.