[논문 리뷰] Set Transformer

Juho Lee, Yoonho Lee외 4명|arXiv (Cornell University)|2018. 10. 01.

Image Retrieval and Classification Techniques인용 수 16

한 줄 요약

세트 트랜스포머는 순서 없는 세트 구조의 데이터 상호작용을 모델링하기 위한 새로운 주의 기반 신경망 모듈을 제안한다. 이는 자기주의 복잡도를 순서 길이에 대해 선형으로 줄이기 위해 희소 가우시안 프로세스에서 영감을 얻은 인과 주의 메커니즘을 사용한다. 이는 소수의 이미지 분류 및 3D 형상 인식과 같은 다양한 세트 기반 작업에서 최고 성능을 달성한다.

ABSTRACT

Many machine learning tasks such as multiple instance learning, 3D shape recognition, and few-shot image classification are defined on sets of instances. Since solutions to such problems do not depend on the order of elements of the set, models used to address them should be permutation invariant. We present an attention-based neural network module, the Set Transformer, specifically designed to model interactions among elements in the input set. The model consists of an encoder and a decoder, both of which rely on attention mechanisms. In an effort to reduce computational complexity, we introduce an attention scheme inspired by inducing point methods from sparse Gaussian process literature. It reduces the computation time of self-attention from quadratic to linear in the number of elements in the set. We show that our model is theoretically attractive and we evaluate it on a range of tasks, demonstrating the state-of-the-art performance compared to recent methods for set-structured data.

연구 동기 및 목표

• 순서 없는 세트 내 요소 간의 상호작용을 효과적으로 모델링할 수 있는 신경망 모듈을 개발하여 순열 불변성을 보장한다.
• 유도점 기반 주의를 사용하여 세트 기반 모델의 자기주의 복잡도를 O(n²)에서 O(n)으로 감소시킨다.
• 이론적으로 우아함을 유지하면서도 다양한 세트 구조 학습 작업에서 뛰어난 실험 성능를 달성하는 모델을 설계한다.
• 다양한 벤치마크에서 세트 트랜스포머의 효과성을 입증한다. 이는 소수의 학습 및 3D 형상 인식을 포함한다.

제안 방법

• 모델은 다중 헤드 주의 메커니즘에 기반한 인코더-디코더 아키텍처를 사용하여 입력 세트를 처리한다.
• 작은 수의 학습된 유도점들을 사용하여 전체 주의를 근사하는 인과 주의 메커니즘을 도입하여 계산을 감소시킨다.
• 주의 메커니즘은 입력 요소와 유도점 간의 상호작용을 계산하여 장거리 의존성을 효율적으로 모델링한다.
• 인코더는 입력 세트를 문맥 기반 표현으로 처리하고, 디코더는 인코딩된 세트와 학습된 쿼리에 기반하여 출력 토큰을 생성한다.
• 표준 역전파 알고리즘과 미분 가능한 목적 함수를 사용하여 엔드 투 엔드로 모델을 훈련시킨다.
• 입력 요소 순서에 대한 대칭성을 보장함으로써 순열 불변성이 유지된다.

실험 결과

연구 질문

• RQ1 인과 주의 메커니즘이 세트 기반 모델의 자기주의 계산 비용을 줄이면서도 표현 능력을 유지할 수 있는가?
• RQ2 세트 트랜스포머는 소수의 이미지 분류 및 3D 형상 인식과 같은 다양한 세트 구조 작업에 얼마나 잘 일반화되는가?
• RQ3 주의 메커니즘에 유도점을 사용할 경우, 기존의 표준 자기주의에 비해 성능과 효율성이 향상되는가?
• RQ4 세트 구조 데이터에 대해 기존의 최고 성능 모델과 비교했을 때 세트 트랜스포머는 경쟁력이 있거나 더 낫다고 할 수 있는가?

주요 결과

• 세트 트랜스포머는 소수의 이미지 분류 및 3D 형상 인식과 같은 다양한 세트 구조 데이터를 포함한 여러 벤치마크 작업에서 최고 성능를 달성한다.
• 인과 주의 메커니즘은 자기주의의 계산 복잡도를 O(n²)에서 O(n)으로 감소시켜 더 긴 세트의 효율적 처리를 가능하게 한다.
• 모델은 순열 불변성을 유지하여 예측 결과가 입력 요소의 순서에 영향을 받지 않음을 보장한다.
• 실험적 평가 결과, 세트 구조 학습을 위한 최근의 방법들보다 일관된 성능 향상이 나타났다.