[論文レビュー] Learning Multiscale Transformer Models for Sequence Generation

Bei Li, Tong Zheng+4 more|arXiv (Cornell University)|Jun 19, 2022

Topic Modeling被引用数 4

ひとこと要約

本稿では、語の境界とフレーズレベルの事前知識を用いて、語素、語、フレーズのスケールを明示的にモデル化する、Universal Multi-Scale Transformer（Umst）を提案する。相互スケール関係（個体間、グループ内、グループ間）を統合することで、計算効率を損なわず、標準的およびマルチスケールTransformerよりも一貫した性能向上を達成し、機械翻訳において平均で+0.88 BLEUおよび+1 ROUGEポイントの向上を達成した。

ABSTRACT

Multiscale feature hierarchies have been witnessed the success in the computer vision area. This further motivates researchers to design multiscale Transformer for natural language processing, mostly based on the self-attention mechanism. For example, restricting the receptive field across heads or extracting local fine-grained features via convolutions. However, most of existing works directly modeled local features but ignored the word-boundary information. This results in redundant and ambiguous attention distributions, which lacks of interpretability. In this work, we define those scales in different linguistic units, including sub-words, words and phrases. We built a multiscale Transformer model by establishing relationships among scales based on word-boundary information and phrase-level prior knowledge. The proposed extbf{U}niversal extbf{M}ulti extbf{S}cale extbf{T}ransformer, namely extsc{Umst}, was evaluated on two sequence generation tasks. Notably, it yielded consistent performance gains over the strong baseline on several test sets without sacrificing the efficiency.

研究の動機と目的

• 既存のマルチスケールTransformerが局所的特徴をモデル化する際、語の境界やフレーズレベルの構造を無視するという限界を是正すること。
• 言語的スケール階層を組み込むことで、自己注意分布の解釈可能性を向上させ、曖昧さを低減すること。
• 語の境界やフレーズ構造といった事前知識をTransformerアーキテクチャに統合できる柔軟で汎用的なフレームワークを設計すること。
• 計算効率を損なわず、シーケンス生成タスクにおける一貫した性能向上を達成すること。

提案手法

• 本稿では、NLPにおけるスケールを語素、語、フレーズのレベルとして再定義し、語の境界とフレーズレベルの事前知識を用いてマルチスケール表現を構造化する。
• 三重の関係モデリング機構を導入する：個体間（スケール内）、グループ内（語／フレーズ内）、グループ間（スケール間）の関係を捉えることで、階層的依存関係をモデル化する。
• Umstモデルは、これらのスケールに依存する関係を自己注意メカニズムに統合し、注意がより自然に意味的な言語的単位に集中できるようにする。
• 多頭注意を語とフレーズの境界を尊重するスケールに依存する注意計算で強化した、変更されたTransformerブロックを用いる。
• 追加のパラメータや複雑な演算を避けることで、計算効率を維持し、相対的位置埋め込みなどの既存技術と直交的である。
• 本フレームワークは拡張可能であり、語の境界やフレーズ構造以外の言語的事前知識の統合も可能である。

実験結果

リサーチクエスチョン

• RQ1 語素、語、フレーズレベルのスケールを明示的にモデリングすることで、シーケンス生成モデルの性能向上が達成できるか？
• RQ2 語の境界とフレーズレベルの知識を組み込むことで、注意分布の解釈可能性と品質は向上するか？
• RQ3 言語的構造を尊重するマルチスケールTransformerは、標準的および既存のマルチスケールTransformerよりもシーケンス生成タスクで優れた性能を発揮するか？
• RQ4 提案手法は、計算コストやモデルの複雑さを増大させることなく、性能向上を達成できるか？
• RQ5 Umstは、語の境界やフレーズ構造を超えた追加の言語的事前知識をどの程度統合できるか？

主な発見

• 機械翻訳において、ベースモデル設定では標準Transformerより+0.88 BLEUポイントの向上を達成した。
• ビッグモデル設定では、ベースラインより+0.44 BLEUポイントの向上を示し、モデルサイズにかかわらず一貫した向上を確認した。
• 要約抽出タスクでは、Transformerベースラインより平均で+1.0 ROUGEポイントの向上を達成した。
• Umstの注意マップは、語の境界に一致する明確で解釈可能なパターンを示したのに対し、標準モデルでは曇った重複する分布が見られた。
• 相対的位置埋め込みと組み合わせた場合、+0.4 BLEUポイントの追加向上を示し、既存の改善手法と直交的で、相性が良いことが示された。
• 複数のテストセットにわたる性能向上が一貫しており、シーケンス生成タスクにおける頑健性と一般化性能を確認した。