[論文レビュー] On Learning Sets of Symmetric Elements

Haggai Maron, Or Litany+2 more|arXiv (Cornell University)|Feb 20, 2020

Domain Adaptation and Few-Shot Learning参考文献 67被引用数 29

ひとこと要約

本稿では、対称的データ（画像、点群、グラフなど）の順序のない集合から学習する新しいアーキテクチャである対称的要素用ディープセット（DSS）を提案する。DSSは、要素の順列変換および内部対称性（画像における平行移動など）の両方に等長性を強制することで、それを実現する。DSSレイヤーは既存の手法を統合・一般化し、不変関数および等長関数の普遍的近似を証明し、画像、グラフ、3次元再構成タスクにおいてシアンセイネットワークや先行する集合学習モデルを実証的に上回る性能を発揮する。

ABSTRACT

Learning from unordered sets is a fundamental learning setup, recently attracting increasing attention. Research in this area has focused on the case where elements of the set are represented by feature vectors, and far less emphasis has been given to the common case where set elements themselves adhere to their own symmetries. That case is relevant to numerous applications, from deblurring image bursts to multi-view 3D shape recognition and reconstruction. In this paper, we present a principled approach to learning sets of general symmetric elements. We first characterize the space of linear layers that are equivariant both to element reordering and to the inherent symmetries of elements, like translation in the case of images. We further show that networks that are composed of these layers, called Deep Sets for Symmetric Elements (DSS) layers, are universal approximators of both invariant and equivariant functions, and that these networks are strictly more expressive than Siamese networks. DSS layers are also straightforward to implement. Finally, we show that they improve over existing set-learning architectures in a series of experiments with images, graphs, and point-clouds.

研究の動機と目的

• 画像における平行移動やグラフにおける順列変換などの、要素に内在する対称性を有する集合からの学習におけるギャップを埋めること。
• 集合の順列変換に加え、個々の要素内の対称性に対しても等長性を強制する原理的フレームワークの構築。
• DSSネットワークの普遍的近似定理の証明により、シアンセイアーキテクチャを上回る表現力の有無を確立すること。
• 画像、グラフ、点群を含む多様なデータタイプにおいて、DSSが先行する集合学習モデルを常に上回る実証的利得を示すこと。

提案手法

• 群論を用いて、集合の順列変換および要素の対称性の両方に等長性を保証する線形レイヤーの空間を特徴づけ、DeepSetsを一般化する。
• DSSレイヤーを、各要素に個別に適用されるシアンセイ処理と、すべての要素の和を処理する共有アグリゲーションモジュールの合成として提案する。
• 一般化されたDSSレイヤーを $ L(x_i) = L_1(x_i) + L_2\left(\sum_{j \neq i} x_j\right) $ として形式化し、ここで $ L_1 $ および $ L_2 $ は畳み込み層である。
• 普遍的近似定理の証明：基本的な要素ネットワークが普遍的である場合、DSSネットワークは不変関数および等長関数の普遍的近似器である。
• 標準的な深層学習演算を用いてDSSレイヤーを効率的に実装し、既存アーキテクチャへの即時統合を可能にする。
• DSSをマルチビュー3次元再構成、画像バーストのぼやけ取り除き、グラフ分類に適用し、従来のアグリゲーション方式を置き換えたり強化したりする。

実験結果

リサーチクエスチョン

• RQ1 要素の再順序付けおよび要素内の内部対称性の両方に等長性を保証する深層学習レイヤーをどのように設計できるか？
• RQ2 シアンセイネットワークやDeepSetsといった既存のアーキテクチャを、対称的要素に一般化する統一フレームワークを構築できるか？
• RQ3 DSSネットワークの表現力は何か？ そして、不変関数および等長関数の学習において、シアンセイネットワークを上回るか？
• RQ4 DSSレイヤーは、画像のぼやけ取り除きや3次元形状再構成といった、実世界の集合的対称データタスクで性能向上をもたらすか？
• RQ5 和ベースのアグリゲーションによる中間段階での情報共有は、後処理統合と比較してモデル性能にどのように影響するか？

主な発見

• 普遍的近似定理により、DSSレイヤーは不変関数および等長関数の両方において、シアンセイネットワークを厳密に上回る表現力を持つことが証明された。
• マルチビュー3次元再構成において、DSSを強化したSridhar+DSSモデルは、自動車クラスで再構成誤差を22.6％（0.1645 → 0.1273）低下させ、航空機クラスでは26.0％（0.1571 → 0.1163）低下させ、顕著な性能向上を示した。
• チェアクラスではわずかに性能が低下（0.1845 → 0.2345）したが、平均誤差は0.1687から0.1593に低下した。
• DSSフレームワークは、DeepSets、シアンセイネットワーク、3次元再構成における平均差分層といった先行手法を包括的に一般化・統合した。
• グラフおよび点群における実験により、多様なデータモダリティにわたり一貫した改善が確認され、DSSが多様なデータタイプに有効であることが示された。
• 等長性レイヤーの理論的特徴づけにより、データに複雑な対称構造が内在する場合に適切にそれを尊重するモデルの体系的設計が可能になった。