[論文レビュー] Set Transformer: A Framework for Attention-based Permutation-Invariant Neural Networks

Juho Lee, Yoonho Lee+4 more|arXiv (Cornell University)|Oct 1, 2018

Image Retrieval and Classification Techniques被引用数 408

ひとこと要約

本論文は、集合入力に対して置換不変性を持つ注意機構ベースのアーキテクチャであるSet Transformerを紹介し、SAB、ISAB、PMAブロックを用い、普遍性を証明するとともに、さまざまな集合タスクに対して強力な経験的成果を示す。

ABSTRACT

Many machine learning tasks such as multiple instance learning, 3D shape recognition, and few-shot image classification are defined on sets of instances. Since solutions to such problems do not depend on the order of elements of the set, models used to address them should be permutation invariant. We present an attention-based neural network module, the Set Transformer, specifically designed to model interactions among elements in the input set. The model consists of an encoder and a decoder, both of which rely on attention mechanisms. In an effort to reduce computational complexity, we introduce an attention scheme inspired by inducing point methods from sparse Gaussian process literature. It reduces the computation time of self-attention from quadratic to linear in the number of elements in the set. We show that our model is theoretically attractive and we evaluate it on a range of tasks, demonstrating the state-of-the-art performance compared to recent methods for set-structured data.

研究の動機と目的

• 順序が意味を持たない可変サイズの集合に対する学習を動機づける。
• アテンション機構に基づく置換不変なアーキテクチャの開発。
• SAB、ISAB、およびPMAブロックを用いた提案手法Set Transformerの普遍性を確立する。
• 人工的および実世界の集合タスク全般にわたる経験的有効性を示す。

提案手法

• 集合内相互作用をモデル化するために自己注意ベースのブロック（SAB）を定義・適用する。
• ISABを用いてインデューシングポイントで相互作用を近似し、スケーラビリティを確保する。
• PMAを適用してプーリングを通じて置換不変な集合表現を得る。
• Set Transformerが置換不変な関数近似器としての普遍性を持つことを証明する。
• さまざまなタスクに対する実用的なアーキテクチャ記述と学習の詳細を提供する。

実験結果

リサーチクエスチョン

• RQ1 アテンションベースの成分（SAB、ISAB、PMA）は集合に対して置換不変な表現を生成できるか？
• RQ2 Set Transformerアーキテクチャは置換不変関数の普遍的な関数近似器か？
• RQ3 集合レベルの推論を要するタスク（最大値回帰、カウント、クラスタリング、異常検知、点群分類）においてSet Transformerの各変種はどのように性能を発揮するか？

主な発見

• Set Transformerは、置換不変関数の空間における普遍的な関数近似器である。
• SABとPMAは集合内での効果的な置換不変プーリングと相互作用のモデリングを可能にする。
• ISABは誘導点を用いて注意機構ベースの集合処理をより大規模な集合に適用できるようスケールさせる。
• タスク全般（最大回帰、固有文字数カウント、ガウス混合、異常検知、ModelNet40）において、SAB+PMA構成を用いたSet Transformerの variantは、いくつかのベースラインより優れており、顕著な向上を示す。
• 大規模データとCIFAR-100のメタクラスタリングでの実験は、スケーラビリティと強い経験的性能を示す。
• 実行時分析はSAB/ISABブロックがGPU上でスケーラブルな性能特性を持つことを示している。