[論文レビュー] Set Transformer

Juho Lee, Yoonho Lee+4 more|arXiv (Cornell University)|Oct 1, 2018

Image Retrieval and Classification Techniques被引用数 16

ひとこと要約

Set Transformerは、スパースガウス過程にインspiredされたスパースなアテンション機構を用いて、自己アテンションの計算量をO(n²)からO(n)に削減する、集合構造データの相互作用をモデル化するための新しいアテンションベースのニューラルネットワークモジュールを提案する。このモデルは、少数の画像分類や3D形状認識といった複数の集合ベースのタスクで最先端の性能を達成している。

ABSTRACT

Many machine learning tasks such as multiple instance learning, 3D shape recognition, and few-shot image classification are defined on sets of instances. Since solutions to such problems do not depend on the order of elements of the set, models used to address them should be permutation invariant. We present an attention-based neural network module, the Set Transformer, specifically designed to model interactions among elements in the input set. The model consists of an encoder and a decoder, both of which rely on attention mechanisms. In an effort to reduce computational complexity, we introduce an attention scheme inspired by inducing point methods from sparse Gaussian process literature. It reduces the computation time of self-attention from quadratic to linear in the number of elements in the set. We show that our model is theoretically attractive and we evaluate it on a range of tasks, demonstrating the state-of-the-art performance compared to recent methods for set-structured data.

研究の動機と目的

• 順序のない集合内の要素同士の相互作用を効果的にモデル化するニューラルネットワークモジュールの開発。順列不変性を保証することを目的とする。
• 誘導点（inducing points）にインspiredされたアテンションを用いて、集合ベースのモデルにおける自己アテンション機構の計算量をO(n²)からO(n)に削減することを目的とする。
• 理論的な洗練さを保ちつつ、多様な集合構造学習タスクで強力な実験的性能を達成するモデルの設計を目的とする。
• 少数の学習例における学習や3D形状認識を含む複数のベンチマークにおいて、Set Transformerの有効性を示すこと。

提案手法

• モデルは、入力集合を処理するためのマルチヘッドアテンション機構に基づくエンコーダ・デコーダアーキテクチャを採用する。
• 全アテンションを近似するために学習可能な誘導点の少数を用いる要因分解アテンション機構を導入し、計算量を削減する。
• アテンション機構は、入力要素と誘導点との間の相互作用を計算することで、長距離依存性の効率的モデリングを可能にする。
• エンコーダは入力集合を文脈を反映した表現に変換し、デコーダは符号化された集合と学習済みのクエリに基づいて出力トークンを生成する。
• モデルは標準的なバックプロパゲーションを用いて、微分可能な目的関数に基づきエンドツーエンドで訓練される。
• 入力要素の順序に依存しないようにアテンション機構が対称的であることを保証することで、順列不変性を維持する。

実験結果

リサーチクエスチョン

• RQ1 要因分解アテンション機構は、表現能力を保ちつつ、集合ベースのモデルにおける自己アテンションの計算コストを削減できるか？
• RQ2 Set Transformerは、少数の画像分類や3D形状認識といった多様な集合構造タスクに一般化できるか？
• RQ3 アテンションにおける誘導点の使用は、集合モデリングにおける標準的な自己アテンションと比較して、性能と効率性を向上させるか？
• RQ4 Set Transformerは、集合構造データのための既存の最先端モデルと同等か、それ以上に優れているか？

主な発見

• Set Transformerは、少数の画像分類や3D形状認識を含む、集合構造データを扱う複数のベンチマークタスクで最先端の性能を達成している。
• 要因分解アテンション機構により、自己アテンションの計算量がO(n²)からO(n)に削減され、より長い集合の効率的処理が可能になった。
• モデルは順列不変性を維持しており、予測結果が入力要素の順序に依存しないことを保証している。
• 実験的評価により、集合構造学習向けに最近開発された手法と比較して一貫した性能向上が示された。