[論文レビュー] Set Transformer: A Framework for Attention-based Permutation-Invariant Neural Networks

Juho Lee, Yoonho Lee+4 more|arXiv (Cornell University)|Oct 1, 2018

Image Retrieval and Classification Techniques参考文献 37被引用数 151

ひとこと要約

本論文は、集合を処理するための注意機構ベースのアーキテクチャである Set Transformer を提案し、SAB、ISAB、PMA ブロックを用いて、置換不変性に対する普遍性を証明し、集合ベースのタスク全般で強力な実証性能を示す。

ABSTRACT

Many machine learning tasks such as multiple instance learning, 3D shape recognition, and few-shot image classification are defined on sets of instances. Since solutions to such problems do not depend on the order of elements of the set, models used to address them should be permutation invariant. We present an attention-based neural network module, the Set Transformer, specifically designed to model interactions among elements in the input set. The model consists of an encoder and a decoder, both of which rely on attention mechanisms. In an effort to reduce computational complexity, we introduce an attention scheme inspired by inducing point methods from sparse Gaussian process literature. It reduces the computation time of self-attention from quadratic to linear in the number of elements in the set. We show that our model is theoretically attractive and we evaluate it on a range of tasks, demonstrating the state-of-the-art performance compared to recent methods for set-structured data.

研究の動機と目的

• 集合上で動作し、置換不変性を満たすニューラルアーキテクチャの動機づけと定義。
• Set Transformer の普遍性を、置換不変関数に対して証明する。
• 多様な集合ベースのタスクでアーキテクチャを評価し、有効性とスケーラビリティを示す。

提案手法

• SAB (Set Attention Block) および ISAB (Induced Set Attention Block) を導入し、集合内の相互作用を捉える。
• PMA (Pooling by Multihead Attention) を用いて、置換不変な集合表現を生成する。
• 普遍性を証明する：エンコーダはペアワイズ項を無視してインスタンスごとの FF ネットワークを回復でき、デコーダは和ベースの pooling およびモーメント様の関数を表現できる。
• 最大回帰、文字カウント、ガウス混合、異常検知、点群分類など、複数のタスクに対するアーキテクチャの詳細と学習プロトコルを提供する。

実験結果

リサーチクエスチョン

• RQ1 注意機構ベースのアーキテクチャは集合上での置換不変性と普遍的な関数近似を達成できるか？
• RQ2 SAB、ISAB、PMA の各成分は、さまざまな集合ベースタスクでの性能とスケーラビリティにどのように寄与するか？
• RQ3 集合上の回帰、カウント、クラスタリング/混合モデル化、異常検知、3D 点群などのタスクにおける Set Transformer の実証的な性能はどの程度か？

主な発見

• Set Transformer は、置換不変関数の空間における普遍的な関数近似器である。
• SAB+PMA バリアントは、いくつかのタスクで強力な性能を達成し、実験全体でベースラインを上回ることが多い（例：一意の文字カウントと CIFAR-100 メタクラスタリング）。
• 実験を通じて、ISAB の誘発点を増やすか PMA を使用することで一般に性能が向上し、より大規模またはより複雑な集合へのスケーラビリティを示している（CIFAR-100 メタクラスタリングや大規模な 2D 混合を含む）。
• 本アーキテクチャは、実値集合、クラスタリングのための画像由来特徴、合成ガウス混合、CelebA ベースの異常タスク、ModelNet40 点群など、多様なモダリティをサポートする。