[논문 리뷰] Complex-valued embeddings of generic proximity data

Maximilian Münch, Michiel Straat외 2명|arXiv (Cornell University)|2020. 08. 31.

Text and Document Classification Technologies참고 문헌 21인용 수 3

한 줄 요약

이 논문은 비거리수 또는 비양의정부정행렬(비-PSD) 근접도 데이터를 고정 길이의 복소수 벡터로 변환하는 복소수 임bedding 방법을 제안한다. 이는 표준 기계학습 알고리즘의 효과적 사용을 가능하게 하며, 저랭크 근사와 노름 기반 보정을 활용해 원본 데이터의 정보를 유지하고, 기존의 보정되지 않은 커널 행렬을 사용하는 전통적 방법보다 벤치마크 데이터셋에서 더 높은 분류 정확도를 달성한다.

ABSTRACT

Proximities are at the heart of almost all machine learning methods. If the input data are given as numerical vectors of equal lengths, euclidean distance, or a Hilbertian inner product is frequently used in modeling algorithms. In a more generic view, objects are compared by a (symmetric) similarity or dissimilarity measure, which may not obey particular mathematical properties. This renders many machine learning methods invalid, leading to convergence problems and the loss of guarantees, like generalization bounds. In many cases, the preferred dissimilarity measure is not metric, like the earth mover distance, or the similarity measure may not be a simple inner product in a Hilbert space but in its generalization a Krein space. If the input data are non-vectorial, like text sequences, proximity-based learning is used or ngram embedding techniques can be applied. Standard embeddings lead to the desired fixed-length vector encoding, but are costly and have substantial limitations in preserving the original data's full information. As an information preserving alternative, we propose a complex-valued vector embedding of proximity data. This allows suitable machine learning algorithms to use these fixed-length, complex-valued vectors for further processing. The complex-valued data can serve as an input to complex-valued machine learning algorithms. In particular, we address supervised learning and use extensions of prototype-based learning. The proposed approach is evaluated on a variety of standard benchmarks and shows strong performance compared to traditional techniques in processing non-metric or non-psd proximity data.

연구 동기 및 목표

• 비거리수 또는 비-양의정부정행렬(비-PSD) 근접도 데이터에 표준 기계학습 알고리즘을 적용할 때 발생하는 수렴 문제와 일반화 보장 상실 등의 한계를 해결하기 위해.
• 일반적인 근접도 행렬을 후속 학습에 적합한 고정 길이의 복소수 벡터로 변환하는 정보 유지 임베딩 기법을 개발하기 위해.
• 기본적으로 부정확한 유사도 또는 이질성 데이터에 대해 잘 이해되고 효율적인 학습 알고리즘—특히 복소수 기반 프로토타입—을 사용할 수 있도록 하기 위해.
• 전통적인 부정확한 커널 학습에서의 핵심 한계인 외삽 확장 문제를 해결하기 위한 계산적으로 효율적인 외삽 확장 방법을 제공하기 위해.

제안 방법

• 데이터셋 크기에 따라 40, 70, 또는 100개의 랜드마크로 설정된 랜드마크 기반 샘플링을 사용해 원본 근접도 행렬에 저랭크 근사를 적용한다.
• 원본 근접도 데이터의 스펙트럼 구조를 유지하면서 수치적 안정성을 확보하는 변환을 통해 복소수 임베딩 행렬을 구성한다.
• 양의정부정행렬(PSD) 구조를 강제하기 위해 임베딩 행렬에 노름 기반 보정을 적용하여, PSD 기반 학습 모델에서의 사용을 가능하게 한다.
• 임bedded된 복소수 벡터를 복소수 기반 학습 알고리즘—일반화된 학습 벡터 양자화(cGLVQ) 및 행렬 학습 벡터 양자화(cGMLVQ)—의 입력으로 사용한다.
• cGMLVQ에 관련성 학습을 통합하여 복소수 공간 내에서 특징의 가중치를 적응적으로 조정함으로써 모델 성능을 향상시킨다.
• 다른 많은 전통적 커널 방법과 달리, 명시적 임베딩 덕분에 외삽 확장이 자연스럽게 지원된다.

실험 결과

연구 질문

• RQ1 복소수 임베딩이 비-PSD 근접도 데이터를 효과적으로 표현하면서 기계학습에 필요한 핵심 정보를 유지할 수 있는가?
• RQ2 제안된 임베딩 방법이 부정확한 근접도 데이터에서 기존의 표준 방법보다 더 높은 분류 정확도를 달성할 수 있는가?
• RQ3 복소수 기반 GLVQ에 관련성 학습을 포함시켰을 때, 표준 cGLVQ에 비해 성능에 어떤 영향을 미치는가?
• RQ4 임베딩 행렬의 노름 기반 보정이 모델의 안정성과 일반화 능력을 얼마나 향상시키는가?
• RQ5 임베딩이 전통적인 부정확한 커널 학습에서의 핵심 과제인 효율적인 외삽 확장을 지원할 수 있는가?

주요 결과

• 비보정된 부정확한 데이터에서 복소수 기반 일반화된 학습 벡터 양자화(cGLVQ)는 최근접이웃 분류기보다 유의미하게 높은 정확도를 달성했으며, 특히 Balls3d와 같은 도전적인 데이터셋에서는 정확도가 0.61 대 0.48로 뚜렷한 우월성을 보였다.
• 관련성 학습을 통합한 cGMLVQ 버전은 Protein(0.98 대 0.22 정확도) 및 Zongker(0.92 대 0.58 정확도) 데이터셋에서 cGLVQ와 최근접이웃 분류기 모두를 능가하는 성능을 보였다.
• Chromosomes 데이터셋에서는 최근접이웃 분류기가 가장 높은 성능(0.95)을 보였지만, 이는 대부분의 고유값이 무시할 만큼 작고 근처의 음수 값이 많아 유리한 고유값 스펙트럼 덕분이었으며, 이는 성능이 고유값 성질에 따라 달라질 수 있음을 시사한다.
• 관련성 학습 없이도 cGLVQ는 대부분의 경우 최근접이웃 분류기보다 뛰어난 성능을 보였으며, 이는 임베딩 보정 단계가 신뢰할 수 있는 성능을 확보하기 위해 필수적임을 시사한다.
• 이 방법은 텍스트 시퀀스(DelftGestures), 생물학적 시퀀스(Protein), 그리고 합성 데이터(Balls)를 포함한 다양한 벤치마크에서 뛰어난 성능을 달성했으며, 광범위한 적용 가능성을 입증했다.
• 저랭크 임베딩은 낮은 재구성 오차로 원본 커널 행렬을 효과적으로 근사했으며, 원본 근접도 데이터의 주요 정보를 잘 유지했다.