[論文レビュー] Set Representation Learning with Generalized Sliced-Wasserstein Embeddings

Navid Naderializadeh, Soheil Kolouri+3 more|arXiv (Cornell University)|Mar 5, 2021

Domain Adaptation and Few-Shot Learning参考文献 42被引用数 5

ひとこと要約

本稿では、集合の要素を確率測度からの標本とみなして、一般化スライスド・ワサーライン距離の正確なユークリッド埋め込みを用いて不変表現を学習する、幾何学的に解釈可能な集合表現学習フレームワークである一般化スライスド・ワサーライン埋め込み（GSWE）を提案する。GSWEは、アテンションベースの手法（例：Set Transformers）と比較してパラメータ数を減らしつつ、教師ありおよび教師なしの集合学習タスクで最先端の性能を達成する。

ABSTRACT

An increasing number of machine learning tasks deal with learning representations from set-structured data. Solutions to these problems involve the composition of permutation-equivariant modules (e.g., self-attention, or individual processing via feed-forward neural networks) and permutation-invariant modules (e.g., global average pooling, or pooling by multi-head attention). In this paper, we propose a geometrically-interpretable framework for learning representations from set-structured data, which is rooted in the optimal mass transportation problem. In particular, we treat elements of a set as samples from a probability measure and propose an exact Euclidean embedding for Generalized Sliced Wasserstein (GSW) distances to learn from set-structured data effectively. We evaluate our proposed framework on multiple supervised and unsupervised set learning tasks and demonstrate its superiority over state-of-the-art set representation learning approaches.

研究の動機と目的

• 順序のない集合構造データからの表現学習のための幾何学的に解釈可能なフレームワークを開発すること。
• 集合学習における既存のプーリング機構の限界を、最適輸送理論を活用することで克服すること。
• 一般化スライスド・ワサーライン距離の正確なユークリッド埋め込みを通じて、効率的かつパラメータ効率の良い集合埋め込みを可能にすること。
• 最先端の手法と比較して、教師ありおよび教師なしの集合学習ベンチマークで優れた性能を示すことを証明すること。
• プーリングモジュールでマルチヘッドアテンションを避けることで、モデルの複雑さを低減しながら、精度を維持または向上させること。

提案手法

• 各集合をその要素から得られる確率測度としてモデル化し、これを分布からの標本とみなす。
• 集合の確率測度とリファレンス集合の確率測度の間の幾何的距離度として、一般化スライスド・ワサーライン（GSW）距離を用いる。
• GSW距離に対して正確なユークリッド埋め込みを導出することで、固定次元空間における効率的かつ微分可能な最適化を可能にする。
• リファレンス集合の要素は、学習中にエンドツーエンドで微分可能なパラメータとして扱われ、モデルが意味のあるリファレンス分布を適応的に学習可能になる。
• バックボーンネットワークは、各集合要素を置換に不変な関数（例：フィードフォワードネットワーク）で処理し、学習済みリファレンス集合を用いたGSWベースのプーリングを実行する。
• 本フレームワークは単一および複数のリファレンス集合をサポートしており、柔軟でスケーラブルな集合表現学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 最適輸送に基づく幾何学的に解釈可能な集合埋め込み手法は、集合表現学習における既存のプーリング機構を上回ることができるか？
• RQ2 GSWEは、Set Transformersなどのアテンションベースのモデルと比較して、精度およびパラメータ効率の面でどのように性能を発揮するか？
• RQ3 GSW距離の正確なユークリッド埋め込みの使用は、多様な集合学習タスクにおいて一般化性能およびロバストネスを向上させるか？
• RQ4 他の手法（例：RepSet）と比較して、GSWEはリファレンス集合の数やリファレンス集合の基数に対してどれほど感度を示すか？
• RQ5 GSWEは、アテンションベースのベースラインと比較して顕著に少ないパラメータ数で、教師ありおよび教師なしの集合学習で最先端の結果を達成できるか？

主な発見

• Set-CirclesおよびSet-Boxesデータセットにおける最近傍検索精度において、GSWEはSet Transformer（PMA）を上回り、特にリファレンス集合に1つ以上の要素が含まれる場合に顕著な向上を示す。
• 教師ありテキスト分類において、GSWEは4つのデータセット（twitter, bbcsport, classic, amazon）すべてでPMAと同等または高いピーク5分割交差検証精度を達成し、パラメータ数も少ない。
• GSWEはリファレンス集合の数が変化しても安定した性能を維持するが、RepSetの性能はリファレンス集合が少ない場合に著しく低下するため、GSWEの安定性と効率性が顕著に示される。
• リファレンス集合が1つ以上の要素を持つ場合に、GSWEのPMAに対する性能向上が最も顕著であり、これはGSWEが集合内の構造的関係をより効果的に捉えていることを示唆する。
• GSWEは、教師ありおよび教師なしの両方の集合学習タスクで最先端の性能を達成しており、その有効性とスケーラビリティが裏付けられる。
• マルチヘッドアテンションを排除したことによるGSWEのパラメータ数の削減が、アテンションベースのベースラインと比較して優れた効率性と性能を実現している。