[論文レビュー] Adding Quaternion Representations to Attention Networks for Classification.

Nazmul Shahadat, Anthony S. Maida|arXiv (Cornell University)|Oct 4, 2021

Advanced Memory and Neural Computing参考文献 13被引用数 5

ひとこと要約

本稿では、入力モジュールにクォータニオン表現を統合することで、画像分類のための軸上注意ネットワークを向上させる手法を提案する。クォータニオン符号化の4つのチャネルにわたる重み共有を活用することで、より密接に接続された特徴表現が得られ、標準の軸上注意ネットワークに比べて分類精度が向上する。

ABSTRACT

This paper introduces a novel modification to axial-attention networks to improve their image classification accuracy. The modification involves supplementing axial-attention modules with quaternion input representations to improve image classification accuracy. We chose axial-attention networks because they factor 2D attention operations into two consecutive 1D operations (similar to separable convolution) and are thus less resource intensive than non-axial attention networks. We chose a quaternion encoder because of they share weights across four real-valued input channels and the weight-sharing has been shown to produce a more interlinked/interwoven output representation. We hypothesize that an attention module can be more effective using these interlinked representations as input. Our experiments support this hypothesis as reflected in the improved classification accuracy compared to standard axial-attention networks. We think this happens because the attention modules have better input representations to work with.

研究の動機と目的

• クォータニオンベースの入力符号化を導入することで、画像分類のための軸上注意ネットワークの表現能力を向上させること。
• より豊かな入力表現を通じて、標準の軸上注意モジュールが複雑な空間的依存関係を捉える能力の限界を補完すること。
• クォータニオンネットワークが内在する重み共有特性を活用し、より複雑に絡み合った強固な特徴マップを生成すること。
• 注意メカニズムがクォータニオン符号化された入力から分類性能の向上を受けるかどうかを検証すること。
• 向上した入力表現が、計算コストを著しく増加させることなく、より良い注意モジュールの性能をもたらすことを実証すること。

提案手法

• 標準の2次元畳み込み層や注意入力層に代わり、軸上注意ネットワークの最初の入力変換としてクォータニオンエンコーダーを統合する。
• クォータニオン演算を用いて4つの実数値入力チャネルを同時に処理し、すべての4つにわたる重み共有を実現することで特徴の依存関係を強化する。
• 高さおよび幅に沿って2段階の1次元操作に分解することで、2次元自己注意機構の効率を維持する。
• クォータニオン符号化による入力表現の豊かさを保ちながら、軸上注意の計算的利点を損なわない。
• 性能向上を評価するために、標準の画像分類ベンチマークで変更されたネットワークをエンドツーエンドで訓練する。
• 注意計算の前段階でのみクォータニオン演算を適用することで、既存の軸上注意フレームワークとの互換性を確保する。

実験結果

リサーチクエスチョン

• RQ1 クォータニオン表現は、画像分類タスクにおける軸上注意ネットワークの性能を向上させることができるか？
• RQ2 クォータニオンエンコーダーの重み共有特性は、標準の実数値入力に比べてより効果的な注意表現をもたらすか？
• RQ3 クォータニオン出力の密接に絡み合った性質は、どの程度注意モジュールの学習を向上させるか？
• RQ4 クォータニオン入力による性能向上は、より良い特徴表現によるものか、アーキテクチャの変更によるものか？
• RQ5 クォータニオンの統合は、軸上注意の効率を維持しながら精度を向上させるか？

主な発見

• 提案されたクォータニオン強化型軸上注意ネットワークは、標準の軸上注意ベースラインに比べて高い画像分類精度を達成した。
• その向上は、クォータニオンエンコーダーが生み出すより密接に接続され、一貫性のある特徴表現に起因する。
• 完全な2次元注意計算を避けることで、軸上注意の計算効率を維持した。
• 注意モジュールは豊富な入力表現から著しく利益を受けており、より良い入力がより良い注意結果をもたらすという仮説が裏付けられた。
• クォータニオンの重み共有特性は、分類タスクにおけるより強固で汎用性の高い特徴学習に寄与した。
• 実験的結果は、性能向上がアーキテクチャの変更そのものではなく、入力表現の質の向上によるものであることを確認した。