[논문 리뷰] Set Transformer: A Framework for Attention-based Permutation-Invariant Neural Networks

Juho Lee, Yoonho Lee외 4명|arXiv (Cornell University)|2018. 10. 01.

Image Retrieval and Classification Techniques인용 수 408

한 줄 요약

본 논문은 순서에 무관한 집합 입력에 대한 주의 기반 아키텍처인 Set Transformer를 소개하며, SAB, ISAB, PMA 블록을 제시하고 보편성을 증명하는 동시에 다양한 집합 작업에서 강력한 실험적 결과를 보여준다.

ABSTRACT

Many machine learning tasks such as multiple instance learning, 3D shape recognition, and few-shot image classification are defined on sets of instances. Since solutions to such problems do not depend on the order of elements of the set, models used to address them should be permutation invariant. We present an attention-based neural network module, the Set Transformer, specifically designed to model interactions among elements in the input set. The model consists of an encoder and a decoder, both of which rely on attention mechanisms. In an effort to reduce computational complexity, we introduce an attention scheme inspired by inducing point methods from sparse Gaussian process literature. It reduces the computation time of self-attention from quadratic to linear in the number of elements in the set. We show that our model is theoretically attractive and we evaluate it on a range of tasks, demonstrating the state-of-the-art performance compared to recent methods for set-structured data.

연구 동기 및 목표

• 순서가 무관한 가변 크기 집합에서 학습을 촉진한다.
• 주의 메커니즘에 기반한 순열 불변 아키텍처를 개발한다.
• SAB, ISAB, 및 PMA 블록을 포함한 제안된 Set Transformer의 보편성을 확립한다.
• 합성 및 실제 세계의 집합 작업 전반에서 경험적 효과를 보여준다.

제안 방법

• SAB를 정의하고 도입하여 내부 집합 간 상호작용을 모델링한다.
• ISAB를 사용하여 유도점으로 상호작용을 근사하여 확장성을 달성한다.
• PMA를 적용하여 풀링을 통해 순열 불변의 집합 표현을 얻는다.
• Set Transformer를 순열-불변 함수 근사기로서의 보편성을 증명한다.
• 다양한 작업에 대한 실용적인 아키텍처 설명과 학습 세부 정보를 제공한다.

실험 결과

연구 질문

• RQ1 주의 기반 구성요소(SAB, ISAB, PMA)가 집합에 대한 순열-불변 표현을 생성할 수 있는가?
• RQ2 Set Transformer 아키텍처는 순열-불변 함수에 대한 보편적 함수 근사기인가?
• RQ3 세트 수준의 추론을 요구하는 작업에서 Set Transformer 변형은 어떻게 성능을 발휘하는가 (max, counting, clustering, anomaly detection, 및 point-cloud classification)?

주요 결과

• Set Transformer는 순열-불변 함수 공간에서 보편적 함수 근사기이다.
• SAB와 PMA는 집합 내에서 효과적인 순열-불변 풀링 및 상호작용 모델링을 가능하게 한다.
• ISAB는 유도점으로 주의 기반의 집합 처리의 규모를 더 큰 집합으로 확장한다.
• 다양한 작업에서 (max regression, 고유 문자 카운트, Gaussian mixtures, anomaly detection, 및 ModelNet40), Set Transformer 변형은 여러 베이스라인을 능가하며, SAB+PMA 구성을 사용할 때 두드러진 이득이 있다.
• 대규모 데이터 및 CIFAR-100 메타 클러스터링에 대한 실험은 확장성과 강한 실험적 성능을 보여준다.
• 런타임 분석은 SAB/ISAB 블록이 GPU에서 확장 가능한 성능 특성을 가진다고 나타낸다.