[論文レビュー] Attentive Group Equivariant Convolutional Networks

David W. Romero, Erik J. Bekkers+2 more|arXiv (Cornell University)|Feb 7, 2020

Advanced Neural Network Applications参考文献 60被引用数 32

ひとこと要約

この研究はグループ畳み込みを拡張し、意味ある対称性関係を学習するアテンティブ機構を導入して、rot-MNISTおよびCIFAR-10に対してSE(2)およびE(2)で標準のグループ等変オートノームより性能を改善し、解釈可能な等変アテンションマップを提供します。

ABSTRACT

Although group convolutional networks are able to learn powerful representations based on symmetry patterns, they lack explicit means to learn meaningful relationships among them (e.g., relative positions and poses). In this paper, we present attentive group equivariant convolutions, a generalization of the group convolution, in which attention is applied during the course of convolution to accentuate meaningful symmetry combinations and suppress non-plausible, misleading ones. We indicate that prior work on visual attention can be described as special cases of our proposed framework and show empirically that our attentive group equivariant convolutional networks consistently outperform conventional group convolutional networks on benchmark image datasets. Simultaneously, we provide interpretability to the learned concepts through the visualization of equivariant attention maps.

研究の動機と目的

• 対称性と等変性を用いてCNNの効率と一般化を改善する動機づけ。
• 対称性要素間の関係を学習するアテンティブなグループ畳み込みを導入。
• 従来のグループ等変ネットワークよりベンチマークデータセットで実証的な改善を示す。
• 学習された等変アテンションマップの可視化を通じた解釈性を提供。

提案手法

• attentive group convolutionを [f ⋆^α_G ψ](g) = sum_c ∫_G α_c(g, g~) f_c(g~) L_g[ψ_c](g~) dg~, where α is computed by an attention operator A (Eq. 14).
• attentionを空間成分とチャネル成分 α^X と α^C に分解して計算負荷を軽減し等変性を保つ（因数分解 α(g, g~) = α^X((x,h),(x~,h~)) α^C(h,h~)） (Sec. 3.2).
• Theorem 1 によるattentive機構の等変性の保証: A[L_ḡ f](g, g~) = A[f](ḡ^{-1}g, ḡ^{-1} g~) (Eq. 15).
• 勾配伝播を助け、アテンションを [0,1] の値に取らせるための残差アテンション分岐を導入し、直接結合と学習されたアテンションを組み合わせる (Sec. 3.3).
• attentive group convolutionを、連続したグループ畳み込みと点ごとの非線形性の系列として、シリアルチャネルおよび空間アテンションを用いて実装する（Fig. 6）。
• attentive group attentionを提案されたG等変フレームワーク内の特別なケースとして、従来の視覚アテンション研究と関連付ける（Sec. 3.1）。

実験結果

リサーチクエスチョン

• RQ1 アテンション機構をG-等変性を破らずにグループ畳み込みに組み込むにはどうすればよいか。
• RQ2 attentive group equivariant networksはSE(2)およびE(2)グループのベンチマークデータセットで標準のグループ等変ネットワークを上回るか。
• RQ3 高次元のグループ空間で等変アテンションマップを効率的に計算・可視化するにはどうするか。
• RQ4 学習されたattentive機構と既存の視覚アテンション手法のグループ理論的視点からの関係はどうなるか。

主な発見

• Attentive group convolutions consistently outperform plain group equivariant networks on rot-MNIST and CIFAR-10 for SE(2) and E(2) groups.
• The framework provides interpretability through visualization of the predicted equivariant attention maps.
• Prior visual attention methods are subsumed as special cases of the attentive group convolution framework.
• An efficient factorization of the attention map reduces computational burden while preserving equivariance.