[論文レビュー] Convolution, attention and structure embedding

Jean‐Marc Andreoli|arXiv (Cornell University)|May 3, 2019

Stochastic Gradient Optimization Techniques参考文献 20被引用数 19

ひとこと要約

本稿では、テンソル演算と混合積に基づく単一の演算子の特別な場合として、畳み込み、アテンション、構造埋め込みを統一的に一般化する数学的枠組みを提示する。アテンション機構が学習可能な可変畳み込みに等価であることを示し、トランスフォーマーにおける位置エンコーディングを、より解釈可能なシーケンス順序のモデリングのための明示的かつ学習可能なシフト行列に置き換えるべきであると提唱する。

ABSTRACT

Deep neural networks are composed of layers of parametrised linear operations intertwined with non linear activations. In basic models, such as the multi-layer perceptron, a linear layer operates on a simple input vector embedding of the instance being processed, and produces an output vector embedding by straight multiplication by a matrix parameter. In more complex models, the input and output are structured and their embeddings are higher order tensors. The parameter of each linear operation must then be controlled so as not to explode with the complexity of the structures involved. This is essentially the role of convolution models, which exist in many flavours dependent on the type of structure they deal with (grids, networks, time series etc.). We present here a unified framework which aims at capturing the essence of these diverse models, allowing a systematic analysis of their properties and their mutual enrichment. We also show that attention models naturally fit in the same framework: attention is convolution in which the structure itself is adaptive, and learnt, instead of being given a priori.

研究の動機と目的

• 畳み込み、アテンション、構造埋め込みといった多様なディープラーニング演算を、1つの数学的枠組みで統一すること。
• 重み付きグラフとテンソルベースの表現を用いて、ニューラルネットワーク内の構造的依存関係を形式化すること。
• 低ランク因子分解を通じて、アテンションと畳み込みにおけるパラメータ効率の役割を分析すること。
• トランスフォーマーにおける位置エンコーディングが、解釈性を高めるために、インデックスベースの基底行列に置き換え可能かどうかを調査すること。
• アテンション機構が、構造が事前に定義されたのではなく、学習によって得られる畳み込みの一種であることを示すこと。

提案手法

• 任意の構造として定式化された重み付きグラフの族としての、一般化された畳み込み演算子を提案する。
• 高次元テンソルの因子分解と低ランク制約の強制を可能にする、混合積演算 $\boldsymbol{a} \circ \boldsymbol{b} = \sum_k \boldsymbol{a}_k \otimes \boldsymbol{b}_k $ を導入する。
• 高次元演算を解析可能にするために、テンソルのフラットネーションと行列化を用いる。
• 逆性の性質を適用：$\boldsymbol{a}$ が形状 $S$ の基底を形成するならば、形状 $ST$ の任意のテンソル $\boldsymbol{\Phi}$ は一意に $\boldsymbol{\Phi} = \boldsymbol{a} \circ \boldsymbol{\Theta}$ と表現可能である。
• トランスフォーマーにおける自己アテンションとクロスアテンションを、共有パラメータ化された双線形形式として再解釈し、因子分解によりパラメータ数を削減する。
• 位置エンコーディングを、1次元グリッド畳み込みの基底としての学習可能なシフト行列に置き換えることで、トークン順序を直接モデリングする。

実験結果

リサーチクエスチョン

• RQ1 畳み込み、アテンション、構造埋め込みは、1つのテンソルベースの枠組みで正式に統一可能か？
• RQ2 混合積演算は、ニューラルネットワーク層における低ランク近似とパラメータ効率をどのように実現するか？
• RQ3 アテンション機構は、構造が学習されるという点で、適応的畳み込みの一種と見なせるか、その程度はいかほどか？
• RQ4 トランスフォーマーにおける位置エンコーディングの機能的役割は何か？ また、明示的かつ学習可能な基底行列に置き換え可能か？
• RQ5 トレーニング済みのアテンションヘッドは、自然にシフト行列を模倣する傾向を示すか？ もしそうならば、これによりより直接的な代替手段が得られるか？

主な発見

• 本稿は、アテンションが、事前に固定されたものではなく、学習によって得られる構造を持つ畳み込みに等価であることを確立した。
• トランスフォーマーのスケーリングドットプロダクトアテンション機構は、パrameter行列 $\boldsymbol{\Lambda}_k$ の特定の低ランク因子分解を伴う双線形アテンション機構と正式に同等である。
• トランスフォーマーの最終出力層は、同じ因子分解原理によって制約された、重み付きヘッドの和と共有線形投影の数学的同等である。
• 本フレームワークは、$\boldsymbol{a}$ が形状 $S$ のテンソル空間の基底を形成するならば、形状 $ST$ の任意のテンソル $\boldsymbol{\Phi}$ が一意に $\boldsymbol{a} \circ \boldsymbol{\Theta}$ と因子分解可能であることを証明した。
• 実証的証拠により、トレーニング済みのアテンションヘッドがしばしばシフト行列に類似した挙動を示すことが示された。これは、このような演算が学習可能な基底行列を直接用いてモデリング可能であるという考えを支持する。
• 位置エンコーディングを明示的かつ学習可能なシフト行列に置き換えることで、シーケンス順序のモデリングにおいて、より解釈可能で、かつ効率的な代替手段が得られる。