[論文レビュー] Co-Attentive Equivariant Neural Networks: Focusing Equivariance On Transformations Co-Ocurring in Data

David W. Romero Guzmán, Mark Hoogendoorn|arXiv (Cornell University)|Apr 30, 2020

Human Pose and Action Recognition参考文献 34被引用数 7

ひとこと要約

本稿では、データ内の共起する変換に動的に注目する共注意力型等長ニューラルネットワークを提案する。これにより、パラメータの効率性と認識性能が向上する。すべての可能な群要素を考慮するのではなく、関連する変換の組み合わせに注目することで、部分的および完全な回転設定下で、回転させたMNISTおよびCIFAR-10において、従来の等長ネットワークを上回る性能を発揮する。

ABSTRACT

Equivariance is a nice property to have as it produces much more parameter efficient neural architectures and preserves the structure of the input through the feature mapping. Even though some combinations of transformations might never appear (e.g. a face with a horizontal nose) current equivariant architectures consider the set of all possible transformations in the transformation group while generating feature representations. Contrarily, the human visual system is able to attend to the set of relevant transformations occurring in the environment as to assist and improve object recognition. Based on this observation, we modify conventional equivariant feature mappings such that they are able to attend to the set of co-occurring transformations in data. Our experiments show that neural networks utilizing co-attentive equivariant feature mappings consistently outperform those utilizing conventional ones both for fully (rotated MNIST) and partially (CIFAR-10) rotational settings.

研究の動機と目的

• データに共起しない変換を無視する従来の等長ネットワークの非効率性を是正すること。
• 視覚入力における関連する変換の組み合わせに人間と同様の注目を向けることで、物体認識の性能を向上させること。
• データに同時に存在する変換を学習するニューラルアーキテクチャを開発し、特徴表現学習を強化すること。
• 実データに共起する変換集合に限定して等長性を制限することで、一般化性能とパラメータ効率性を向上させること。

提案手法

• 入力データに共起する変換のサブセットに注目することができる共注意力メカニズムを導入する。
• 標準的な等長特徴マッピングを、全変換群ではなく、注目された変換集合に条件づけるように修正する。
• 学習可能な注目重みを用いて、特徴抽出中に関連する変換の組み合わせを動的に選択する。
• 変換群の要素に対して注目メカニズムを適用し、トレーニングデータに同時に現れるものにのみ注目する。
• 注目された変換集合を等長メッセージパッシング機構に統合し、変換に依存する特徴を生成する。
• 標準的なバックプロパゲーションを用いてエンドツーエンドで訓練し、注目と特徴学習を同時に最適化する。

実験結果

リサーチクエスチョン

• RQ1 データ内の共起する変換に注目することで、等長ニューラルネットワークの性能を向上させることができるか？
• RQ2 変換集合に対する注目が、等長モデルの一般化性能とパラメータ効率性に与える影響は何か？
• RQ3 共注意力型等長性は、部分的または完全な回転不変性を持つデータセットで、より優れた性能を発揮するか？
• RQ4 モデルの注目メカニズムは、人間の視覚的注目とどの程度一致するか？
• RQ5 提案手法は、すべての群要素を均等に扱う標準的な等長ネットワークを上回ることができるか？

主な発見

• 提案された共注意力型等長ニューラルネットワークは、回転させたMNISTにおいて、従来の等長ネットワークを一貫して上回る性能を達成した。
• 部分的回転を伴うCIFAR-10では、モデルが標準的な等長ベースラインを上回り、不完全な変換集合に対してもより高いロバストネスを示した。
• 注目メカニズムは、データに共起する関連する変換の組み合わせを的確に同定し、注目することができた。
• 意味のある変換群に限定された等長性のおかげで、より少ない有効パラメータ数でより良い一般化性能を達成した。
• 実験により、共起する変換に注目することで、すべての群要素を均等に扱うのと比較して、より効率的で正確な特徴表現が得られることを確認した。