[論文レビュー] A Context-Aware Feature Fusion Framework for Punctuation Restoration

Yangjun Wu, Kebin Fang+1 more|arXiv (Cornell University)|Mar 23, 2022

Natural Language Processing Techniques被引用数 8

ひとこと要約

本稿では、二重スレッドアテンションメカニズムを導入することで、特徴量共有を向上させるための相互作用自己アテンション（ISA）と、左側文脈依存性を優先するためのマスク付き自己アテンション（MSA）を備えた文脈に配慮した特徴量統合フレームワーク（FFA）を提案する。外部データやデータ拡張を用いない状態で、IWSLTベンチマークにおいて最先端の性能を達成し、F1スコアや再現率といった主要指標で先行手法を上回った。

ABSTRACT

To accomplish the punctuation restoration task, most existing approaches focused on leveraging extra information (e.g., part-of-speech tags) or addressing the class imbalance problem. Recent works have widely applied the transformer-based language models and significantly improved their effectiveness. To the best of our knowledge, an inherent issue has remained neglected: the attention of individual heads in the transformer will be diluted or powerless while feeding the long non-punctuation utterances. Since those previous contexts, not the followings, are comparatively more valuable to the current position, it's hard to achieve a good balance by independent attention. In this paper, we propose a novel Feature Fusion framework based on two-type Attentions (FFA) to alleviate the shortage. It introduces a two-stream architecture. One module involves interaction between attention heads to encourage the communication, and another masked attention module captures the dependent feature representation. Then, it aggregates two feature embeddings to fuse information and enhances context-awareness. The experiments on the popular benchmark dataset IWSLT demonstrate that our approach is effective. Without additional data, it obtains comparable performance to the current state-of-the-art models.

研究の動機と目的

• 標準のトランスフォーマー自己アテンションが、句読点のない長いシーケンスにおいて、ランクの低いボトルネックにより性能が低下するという内在的制限を是正すること。
• 注意ヘッド間の通信と左側文脈の優先化により、文脈に配慮した特徴表現を向上させることで、句読点回復の文脈認識能力を強化すること。
• 外部知識やデータ拡張に依存せず、訓練データのみを活用する特徴量統合フレームワークを開発すること。
• トランスフォーマーのアーキテクチャ的改善が、追加のデータや外部特徴量なしに競争力のある性能を達成できることを示すこと。

提案手法

• FFAは二重スレッドアーキテクチャを採用する。一方のスレッドは、学習可能な相互作用行列を介して注意ヘッド間の知識共有を可能にする相互作用自己アテンション（ISA）を用いる。
• もう一方のスレッドは、注意計算時に将来のトークンをマスクすることで左側文脈表現を強調するマスク付き自己アテンション（MSA）を用いる。
• ISAとMSAからの特徴量埋め込みは、学習可能な統合層によって統合され、ヘッド間の知識と文脈に配慮した表現が統合される。
• フレームワークは、初期トークン埋め込みに事前学習済み言語モデル（例：Funnel-Transformer や BART）を用い、その後に二重アテンションモジュールとトークンレベルの句読点タグ分類ヘッドを配置する。
• モデルは早期停止、ドロップアウト（0.2）、およびR-Drop正則化を用いて訓練され、堅牢性と一般化性能が向上する。
• 統合層は二重スレッドの出力を学習可能な変換を用いて統合し、分類用の最終的文脈表現を生成する。

実験結果

リサーチクエスチョン

• RQ1 トランスフォーマーにおけるヘッド間アテンション相互作用は、長期間にわたるシーケンスにおける特徴表現能力を向上させ、ランクの低いボトルネックを緩和できるか？
• RQ2 マスク付き自己アテンションによる左側文脈の優先化は、過去の文脈がより有用な句読点回復タスクで性能を向上させられるか？
• RQ3 外部データや特徴量に依存しない文脈に配慮した特徴量統合フレームワークは、最先端の性能を達成できるか？
• RQ4 標準のマルチヘッドアテンションと比較して、提案された二重スレッドアテンション機構は、句読点回復タスクにおいてどの程度有効か？

主な発見

• FFAはIWSLTベンチマークで最高のF1スコアを達成し、データ拡張を一切使用しないにもかかわらず、RoBERTa-large+augmentationといった最先端モデルを上回る再現率（3.1ポイント高い）を記録した。
• モデルは全体で84.2%のF1スコアを達成し、86.1%の精度と85.2%の再現率を示し、すべての指標で優れた性能を発揮した。
• アブレーションスタディの結果、相互作用自己アテンション（ISA）モジュールを削除するとF1スコアが3%低下し、その重要性が確認された。
• マスク付き自己アテンション（MSA）モジュールの削除によりF1スコアが1.7%低下し、左側文脈への注目が重要であることが示された。
• 相互作用機構を標準のマルチヘッドアテンションに置き換えるとF1スコアが0.4ポイント低下し、提案されたヘッド間相互作用設計の有効性が裏付けられた。
• 統合層とR-Drop正則化はさらに堅牢性を向上させ、R-Dropを削除するとF1スコアが0.2ポイント低下した。