[論文レビュー] Is Attention Better Than Matrix Decomposition?

Zhengyang Geng, Meng-Hao Guo+4 more|arXiv (Cornell University)|Jan 1, 2021

Domain Adaptation and Few-Shot Learning参考文献 73被引用数 52

ひとこと要約

この論文は、行列分解ベースのグローバルコンテキストモジュール（Hamburger）が視覚タスクにおいて自己注意と同等以上を実現し得ることを示し、計算量とメモリコストを低減し、MDループを通じた訓練のためのワンステップ グラデーションを提案している。

ABSTRACT

As an essential ingredient of modern deep learning, attention mechanism, especially self-attention, plays a vital role in the global correlation discovery. However, is hand-crafted attention irreplaceable when modeling the global context? Our intriguing finding is that self-attention is not better than the matrix decomposition (MD) model developed 20 years ago regarding the performance and computational cost for encoding the long-distance dependencies. We model the global context issue as a low-rank recovery problem and show that its optimization algorithms can help design global information blocks. This paper then proposes a series of Hamburgers, in which we employ the optimization algorithms for solving MDs to factorize the input representations into sub-matrices and reconstruct a low-rank embedding. Hamburgers with different MDs can perform favorably against the popular global context module self-attention when carefully coping with gradients back-propagated through MDs. Comprehensive experiments are conducted in the vision tasks where it is crucial to learn the global context, including semantic segmentation and image generation, demonstrating significant improvements over self-attention and its variants.

研究の動機と目的

• ビジョンおよび自然言語処理タスクにおけるグローバルコンテキストのモデリングにおいて、手作りの注意機構が不可欠かどうかを再評価する。
• グローバルコンテキストを低ランク回復問題として定式化し、行列分解によって解くことでホワイトボックスモジュールを設計する。
• MDソルバー（VQ、CD、NMF）から構築された軽量なグローバルコンテキストブロックHamburgerを、効率的なバックプロパゲーションとともに開発する。
• semantic segmentationとimage generationタスクでHamburgerの有効性をデモンストレーションし、自己注意モジュールと比較する。

提案手法

• 展開された入力表現の低ランク回復としてグローバルコンテキストをモデル化し、行列分解で解いてクリーンな低ランク埋め込みを生成する。
• 線形変換（下部ブレッド）を適用し、低ランク部分空間を回復するMDベースのhamブロック、そして出力を生成する線形変換（上部ブレッド）を組み込むHamburgerを導入する。
• MD hamブロックを、ベクトル量子化（VQ）、概念分解（CD）、非負値行列分解（NMF）の微分可能なバリアントで具体化する。
• 反復的MDソルバーを通じて勾配をバックプロパゲートする際、時系列全体のバックプロパゲーション（BPTT）の代わりにワンステップ勾配を使用して、不安定な勾配を緩和する。
• Hamburgerの計算量をO(n)に保ち、従来の自己注意のような大きなn×nアテンション行列を回避し、メモリ使用量を削減する。

実験結果

リサーチクエスチョン

• RQ1 グローバルコンテキストをモデリングする際、手作りの注意機構（自己注意）は必須か、それとも行列分解ベースのグローバルコンテキストが競合できるか。
• RQ2 Hamburgerはセグメンテーションと生成タスクで自己注意と競合する、あるいはそれを上回る性能を達成しつつ、計算量とメモリコストを削減できるか。
• RQ3 ニューラルネットワークにおける反復的な行列分解処理（例: ワンステップ勾配）を微分可能にする効果的な訓練戦略は何か。
• RQ4 異なるMDの選択（VQ、CD、NMF）がグローバルコンテキストモデリングの性能、効率性、解釈性にどのように影響するか。

主な発見

• 行列分解に基づくHamburgerは、セマンティックセグメンテーションと画像生成において自己注意と競合する最先端の結果を達成できる。
• PASCAL VOCのテストセットで、HamNet（Hamburgerベース）は85.9%のmIoUを達成し、リストされた複数のアテンションベースモデルを上回る。
• PASCAL Contextの検証で、HamNetは55.2%のmIoUを達成し、複数のアテンションモジュールを上回る。
• ImageNet 128×128での画像生成では、NMFとワンステップ勾配を用いた HamGAN 変種がSAGANと比較して強力なFID改善を達成（例: HamGAN-strong FID 14.77、HamGAN-baby 16.05）。
• ワンステップ勾配法は訓練を安定させ、MDループを効果的にバックプロパゲーションし、完全なBPTTの不安定さを回避する。
• Hamburgerは従来の自己注意モジュールより低いメモリと計算量（O(ndr) および大きな n×n アテンション行列がない）を示す。