[論文レビュー] Co-Attentive Equivariant Neural Networks: Focusing Equivariance On Transformations Co-Occurring In Data

David W. Romero, Mark Hoogendoorn|arXiv (Cornell University)|Nov 18, 2019

Advanced Image and Video Retrieval Techniques参考文献 36被引用数 17

ひとこと要約

本論文は、データ内の共起的変換（例：特定の回転）に動的に注目するが、すべての群要素に対して等変性を強制するのではなく、共起的変換に注目する共注意力を備えた等変性ニューラルネットワークを提案する。群畳み込み特徴マッピングに巡回自己注意を統合することで、回転させたMNISTおよびCIFAR-10で性能が向上し、等変性を維持したまま、標準の回転および回転＋反転等変性ネットワークを上回る性能を発揮する。

ABSTRACT

Equivariance is a nice property to have as it produces much more parameter efficient neural architectures and preserves the structure of the input through the feature mapping. Even though some combinations of transformations might never appear (e.g. an upright face with a horizontal nose), current equivariant architectures consider the set of all possible transformations in a transformation group when learning feature representations. Contrarily, the human visual system is able to attend to the set of relevant transformations occurring in the environment and utilizes this information to assist and improve object recognition. Based on this observation, we modify conventional equivariant feature mappings such that they are able to attend to the set of co-occurring transformations in data and generalize this notion to act on groups consisting of multiple symmetries. We show that our proposed co-attentive equivariant neural networks consistently outperform conventional rotation equivariant and rotation & reflection equivariant neural networks on rotated MNIST and CIFAR-10.

研究の動機と目的

• データに共起する可能性が極めて低い変換に対してもすべての群要素に対して等変性を強制する従来の等変性ネットワークの非効率性を是正すること。
• 現実世界のデータに共起する変換の集合にのみ注目することで、人間の視覚的認知に類似したモデルを構築し、認識精度とパラメータ効率を向上させること。
• 等変性を保持しつつ、データの共起性領域内での関連する変換にのみ的を絞る注目メカニズムを設計すること。
• 一様な群作用を超えて、注目によってデータ駆動の変換選択を統合することで、等変性ディープラーニングを拡張すること。

提案手法

• 群畳み込みの被定義域における空間的位置に対して巡回自己注意を適用する共注意力を備えた等変性特徴マッピングを提案する。
• 巡回等変性自己注意を導入し、群作用によって誘導される巡回置換に注目を制限することで等変性を維持する。
• 訓練データに共起する変換にのみ注目できるように、標準の群畳み込みネットワークを修正し、共起性領域を形成する。
• 局所的文脈における変換の共起確率に基づいて、特徴マップの重みを動的に学習可能な注目メカニズムを採用する。
• 変換が特徴マップに巡回置換として作用する群作用フレームワークを用い、注目メカニズムが等変性を保つようにする。
• すべてのネットワークタイプに同一のハイパーパrameter（例：学習率 0.01、入力の99百分位数へのクリッピング）を適用し、公平な比較を実現する。

実験結果

リサーチクエスチョン

• RQ1 等変性を破らずに、データ内での共起的変換にのみ注目できる注目メカニズムを設計できるか？
• RQ2 変換の共起性領域にのみ注目することで、全群等変性を強制する場合と比較して一般化性能が向上するか？
• RQ3 提案手法の共注意力を備えた等変性は、標準の回転および回転＋反転等変性ネットワークと比較して、ベンチマークデータセットでどのように性能を発揮するか？
• RQ4 提案手法は、完全回転および部分的回転設定の両方で、訓練の安定化を図りながら高い性能を維持できるか？

主な発見

• 共注意力を備えた等変性ネットワーク（DREN）は、回転させたMNISTおよびCIFAR-10において、従来の回転等変性ネットワークおよび回転＋反転等変性ネットワークを上回る性能を発揮する。
• モデルは、完全回転（回転させたMNIST）および部分的回転（CIFAR-10）の両設定で一貫した性能向上を達成する。
• 訓練発散への感受性が高まるものの、適切なハイパーパrameterチューニング（学習率の低減、入力クリッピングなど）により、共注意力アプローチは安定化する。
• 巡回自己注意メカニズムは、等変性を効果的に保持しつつ、関連する変換にデータ駆動で注目でき、特徴表現を向上させる。
• 結果は共起性領域仮説を支持する：頻繁に共起する変換に注目することで、レアまたは関係のない変換に過学習することなく認識性能が向上する。