[논문 리뷰] Set Representation Learning with Generalized Sliced-Wasserstein Embeddings

Navid Naderializadeh, Soheil Kolouri외 3명|arXiv (Cornell University)|2021. 03. 05.

Domain Adaptation and Few-Shot Learning참고 문헌 42인용 수 5

한 줄 요약

이 논문은 일반화된 슬라이스드-워샤우르스타인 임베딩(GSWE)을 제안하며, 집합 원소를 확률 측도에서 샘플로 간주하고 정확한 유클리드 임베딩을 사용해 일반화된 슬라이스드-워샤우르스타인 거리의 기하학적 해석이 가능한 프레임워크를 제공한다. GSWE는 주어진 집합 구조 데이터의 표현을 학습하는 데 있어 주목할 만한 성능을 달성하며, 어텐션 기반 방법(예: Set Transformers)보다도 더 적은 파라미터를 사용한다.

ABSTRACT

An increasing number of machine learning tasks deal with learning representations from set-structured data. Solutions to these problems involve the composition of permutation-equivariant modules (e.g., self-attention, or individual processing via feed-forward neural networks) and permutation-invariant modules (e.g., global average pooling, or pooling by multi-head attention). In this paper, we propose a geometrically-interpretable framework for learning representations from set-structured data, which is rooted in the optimal mass transportation problem. In particular, we treat elements of a set as samples from a probability measure and propose an exact Euclidean embedding for Generalized Sliced Wasserstein (GSW) distances to learn from set-structured data effectively. We evaluate our proposed framework on multiple supervised and unsupervised set learning tasks and demonstrate its superiority over state-of-the-art set representation learning approaches.

연구 동기 및 목표

• 순서가 없는 집합 구조 데이터로부터 표현을 학습하기 위한 기하학적으로 해석 가능한 프레임워크를 개발하는 것.
• 기존 풀링 기반 방법의 한계를 최적화 이론을 활용해 해결하는 것.
• 일반화된 슬라이스드-워샤우르스타인 거리의 정확한 유클리드 임베딩을 통해 효율적이고 파라미터 효율적인 집합 임베딩을 가능하게 하는 것.
• 최신 기준 모델들과 비교해도 우수한 성능을 보이며, 감독 및 비감독 집합 학습 벤치마크에서의 성능을 입증하는 것.
• 풀링 모듈에서 다중 헤드 어텐션을 제거함으로써 모델 복잡도를 줄이고 정확도를 유지하거나 향상시키는 것.

제안 방법

• 각 집합을 그 원소로부터 유도된 확률 측도로 모델링하며, 원소들을 분포에서의 샘플로 간주한다.
• 집합의 확률 측도와 기준 집합의 확률 측도 간의 기하학적 거리 측도로 일반화된 슬라이스드-워샤우르스타인(GSW) 거리를 사용한다.
• GSW 거리에 대해 정확한 유클리드 임베딩을 유도하여 고정된 차원 공간 내에서 효율적이고 미분 가능한 최적화를 가능하게 한다.
• 기준 집합 원소는 학습 도중 엔드 투 엔드로 학습되는 미분 가능한 파라미터이며, 이로써 모델은 의미 있는 기준 분포를 적응적으로 학습할 수 있다.
• 백본 네트워크는 각 집합 원소를 순열에 대한 등변 함수(예: 피드포워드 네트워크)로 처리한 후, 학습된 기준 집합을 사용해 GSW 기반 풀링을 수행한다.
• 이 프레임워크는 단일 및 다중 기준 집합을 모두 지원하여 다양한 유형의 집합 표현 학습이 가능하고 확장성이 뛰어나다.

실험 결과

연구 질문

• RQ1 최적화 이론에 기반한 기하학적으로 해석 가능한 집합 임베딩 방법이, 집합 표현 학습에서 기존의 풀링 기반 방법보다 뛰어난 성능을 낼 수 있는가?
• RQ2 Set Transformers와 같은 어텐션 기반 모델과 비교했을 때 GSWE의 정확도 및 파라미터 효율성은 어떠한가?
• RQ3 GSW 거리에 대한 정확한 유클리드 임베딩을 사용할 경우, 다양한 집합 학습 작업에서 일반화 및 강건성 향상에 기여하는가?
• RQ4 RepSet과 같은 다른 방법들과 비교해 GSWE는 기준 집합의 수와 기준 집합의 원소 수에 얼마나 민감한가?
• RQ5 GSWE는 어텐션 기반 기준 모델보다 훨씬 적은 파라미터로 감독 및 비감독 집합 학습에서 최고 성능을 달성할 수 있는가?

주요 결과

• Set-Circles 및 Set-Boxes 데이터셋에서 이웃 탐색 정확도 측정에서 GSWE는 Set Transformer(PMA)를 능가하며, 특히 기준 집합에 두 개 이상의 원소가 포함된 경우 성능 향상이 두드러진다.
• 감독형 텍스트 분류 작업에서 GSWE는 모든 네 가지 데이터셋(twitter, bbcsport, classic, amazon)에서 PMA와 유사하거나 높은 최고의 5폴드 교차검증 정확도를 달성하며, 파라미터 수가 더 적다.
• GSWE는 기준 집합의 수가 다양할 때도 안정적인 성능을 유지하지만, RepSet은 기준 집합 수가 적어질수록 성능가 급격히 떨어지므로 GSWE의 안정성과 효율성을 입증한다.
• 기준 집합이 하나 이상의 원소를 포함할 경우 GSWE가 PMA보다 성능 향상이 두드러지므로, GSWE가 집합 내 구조적 관계를 더 잘 포착함을 시사한다.
• GSWE는 감독 및 비감독 집합 학습 작업에서 모두 최고 성능을 기록하며, 그 효과성과 확장성을 입증한다.
• 다중 헤드 어텐션의 부재로 인해 GSWE의 파라미터 수가 줄어들어, 어텐션 기반 기준 모델 대비 뛰어난 효율성과 성능을 확보한다.