[論文レビュー] The Topological BERT: Transforming Attention into Topology for Natural Language Processing

Ilan Perez, Raphael Reinauer|arXiv (Cornell University)|Jun 30, 2022

Topological and Geometric Data Analysis被引用数 11

ひとこと要約

本稿では、BERTのアテンションマップをアテンショングラフに変換し、トポロジカルデータ解析（特に恒続ホモロジーとパーシステント画像）を用いて構造的特徴を抽出する新しいテキスト分類モデル、Topological BERTを提案する。このモデルは、感情分析や文法的正しさの判断といったNLPタスクにおいてBERTと同等の性能を達成するとともに、性能に損なわれることなくアテンションヘッドを10個まで削減可能であり、敵対的攻撃に対しても優れた耐性を示す。

ABSTRACT

In recent years, the introduction of the Transformer models sparked a revolution in natural language processing (NLP). BERT was one of the first text encoders using only the attention mechanism without any recurrent parts to achieve state-of-the-art results on many NLP tasks. This paper introduces a text classifier using topological data analysis. We use BERT's attention maps transformed into attention graphs as the only input to that classifier. The model can solve tasks such as distinguishing spam from ham messages, recognizing whether a sentence is grammatically correct, or evaluating a movie review as negative or positive. It performs comparably to the BERT baseline and outperforms it on some tasks. Additionally, we propose a new method to reduce the number of BERT's attention heads considered by the topological classifier, which allows us to prune the number of heads from 144 down to as few as ten with no reduction in performance. Our work also shows that the topological model displays higher robustness against adversarial attacks than the original BERT model, which is maintained during the pruning process. To the best of our knowledge, this work is the first to confront topological-based models with adversarial attacks in the context of NLP.

研究の動機と目的

• 微調整されたBERTパラメータに依存せずに、BERTのアテンションメカニズムを活用するトポロジカルテキスト分類器の開発。
• アテンショングラフのトポロジカル表現が、標準的なNLPベンチマークでBERTの性能を同等または上回ることの検証。
• トポロジカル解釈可能性に基づく新たなアテンションヘッドのプリーニング手法の設計により、性能の低下を伴わずにモデルの複雑さを低減。
• トポロジカルNLPにおいてこれまで未解決であった分野である、敵対的攻撃に対するトポロジカルモデルの耐性の評価。
• UMAP投影におけるトポロジカル安定性とクラスタリングの観点から、アテンションヘッドの解釈可能性の探求。

提案手法

• 各レイヤーおよびシーケンスごとに、BERTのマルチヘッドアテンションマップを重み付き・有向アテンショングラフに変換。
• 恒続ホモロジーを用いて、ホモロジー次元にわたるBetti数やパーシステント画像などのトポロジカル特徴を計算。
• パーシステント画像を全結合ニューラルネットワークの入力特徴として用い、下流の分類タスクに適用。
• GradCamに類似した手法を提案し、トポロジカル特徴への寄与度に基づいてアテンションヘッドをスコア化し、プリーニングを可能に。
• パーシステント画像のデータ拡張および標準化技術（回転、パディング、フレーム固有の正規化）を適用。
• エアリー・ストッピングと学習率スケジューリングを用い、タスク固有のデータセット上でトポロジカル分類器をエンドツーエンドで訓練。

実験結果

リサーチクエスチョン

• RQ1 BERTのアテンショングラフから抽出されたトポロジカル特徴は、標準的なNLPベンチマークでBERTと同等の性能を達成できるか？
• RQ2 トポロジカル関連性に基づくアテンションヘッドのプリーニングは、分類精度と耐性を維持または向上させるか？
• RQ3 通常フィルトレーション、多次元フィルトレーション、有向フィルトレーションといった異なるフィルトレーションタイプおよび対称性関数の違いが、トポロジカルモデルの性能に与える影響は？
• RQ4 パーシステント図のUMAP投影と、BERTのアテンションマップに基づくクラスタリングパターンの間に相関関係があるか？
• RQ5 トポロジカルモデルは敵対的攻撃に対して耐性を示すか？また、プリーニングはその耐性に影響を与えるか？

主な発見

• トポロジカルモデルは、評価されたすべてのタスクでBERTと同等の性能を達成し、IMDBデータセットでは99.8%、SST-2データセットでは89.0%の精度を記録。
• 提案されたトポロジカルスコアリング手法を用いてアテンションヘッドを144個から10個にプリーニングしても性能が維持され、わずかな精度低下（例：CoLAで3ヘッドでは0.554/81.9、BERTでは0.518/80.6）にとどまる。
• 20回のファインチューニングエポックを経てCoLAデータセットでBERTを上回る性能を示し、1ヘッドで0.591/83.3の精度を達成（BERTは0.518/80.6）。
• 敵対的攻撃に対してBERTよりも顕著に高い耐性を示し、10ヘッドにまでプリーニングしてもその耐性は保持される。
• 通常および有向フィルトレーションから得たパーシステント画像、特にプリーニングを施した場合、より複雑なフィルトレーション（例：MultiDim）を上回り、CoLAで30ヘッドで82.4%のピーク精度を記録。
• プリーニング後に選択されたアテンションヘッドの多くは[SEP]トークンに焦点を当てており、『no-op仮説』に関する新たな知見が得られ、アテンションヘッドの機能的特化の可能性を示唆する。