[論文レビュー] Cluster-Former: Clustering-based Sparse Transformer for Long-Range Dependency Encoding

Shuohang Wang, Luowei Zhou+6 more|arXiv (Cornell University)|Sep 13, 2020

Topic Modeling参考文献 41被引用数 19

ひとこと要約

Cluster-Formerは、スライディングウィンドウ注意とクラスタリングに基づくグローバル注意を組み合わせた画期的なスパースなTransformerアーキテクチャを提案する。長時間系列における長距離依存関係を効果的にモデル化する。隠れ状態を定期的にクラスタリングして重心にまとめ、それらのクラスタを用いてTransformerの注意機構を適用することで、計算量の二次関数的増加を伴わずに、Quasar-T、SearchQA、Natural Questions（長文回答）などの長文脈QAベンチマークで最先端の性能を達成する。

ABSTRACT

Transformer has become ubiquitous in the deep learning field. One of the key ingredients that destined its success is the self-attention mechanism, which allows fully-connected contextual encoding over input tokens. However, despite its effectiveness in modeling short sequences, self-attention suffers when handling inputs with extreme long-range dependencies, as its complexity grows quadratically with respect to the sequence length. Therefore, long sequences are often encoded by Transformer in chunks using a sliding window. In this paper, we propose Cluster-Former, a novel clustering-based sparse Transformer to perform attention across chunked sequences. The proposed framework is pivoted on two unique types of Transformer layer: Sliding-Window Layer and Cluster-Former Layer, which encode local sequence information and global context jointly and iteratively. This new design allows information integration beyond local windows, which is especially beneficial for question answering (QA) tasks that rely on long-range dependencies. Experiments show that Cluster-Former achieves state-of-the-art performance on several major QA benchmarks.

研究の動機と目的

• 長時間系列における標準的な自己注意機構の二次関数的計算量およびメモリの複雑さを解消すること。
• スライディングウィンドウや手動で設計されたスパースな注意パターンを越えて、長距離依存関係のモデル化を改善すること。
• 長文脈NLPタスクにおけるグローバルな文脈を捉える柔軟で学習可能なメカニズムを開発すること。
• 長文脈推論を要する質問応答タスクで最先端の性能を達成すること。
• 本手法がQAを越えて言語モデル作成などの長文脈NLPタスクへ一般化できることを示すこと。

提案手法

• モデルは2種類のTransformer層を用いる：スライディングウィンドウ層は固定長のチャンク内での局所的文脈符号化に使用される。
• Cluster-Former層は、前の層からの隠れ状態に対してK-meansクラスタリングを適用し、意味的または構造的に類似した表現をグループ化する。
• クラスタの重心は、オンライン計算を避けるために、蓄積された隠れ状態のメモリバンクを用いて定期的に（例：毎エポック）更新される。
• クラスタリングされた隠れ状態は均等にチャンクに分割され、それぞれが別個のTransformer層で処理され、チャンク間の注意機構が可能になる。
• 局所的（スライディングウィンドウ）およびグローバル的（クラスタベース）な注意機構をハイブリッドアーキテクチャとして組み合わせ、効率性と長距離モデル化の両立を図る。
• クラスタ数（C）はハイパーパrameterであり、QAタスクで最適なパフォーマンスを示すために512クラスタが使用された。

実験結果

リサーチクエスチョン

• RQ1 クラスタリングに基づく注意機構は、手動で設計されたスパースな注意パターンを上回って長距離依存関係をモデル化できるか？
• RQ2 学習されたクラスタ重心を用いることで、ランダムハッシュや固定位置選択と比較して、グローバルな文脈符号化が向上するか？
• RQ3 クラスタ数が長文脈QAタスクのパフォーマンスに与える影響は何か？
• RQ4 Cluster-Formerアーキテクチャは、QAを越えて言語モデル作成などの他の長文脈NLPタスクへ一般化できるか？
• RQ5 Transformerスタック内のどの層位置にCluster-Former層を配置するのが最も効果的か？

主な発見

• Cluster-FormerはQuasar-T、SearchQA、Natural Questions（長文回答）ベンチマークで、新たな最先端の結果を達成した。
• 512クラスタを用いたモデルは、QAタスクにおいて、スパース注意機構および局所性に依存するハッシュ（LSH）ベースラインを著しく上回った。
• 512クラスタのモデルは、ほとんどのQAタスクで64クラスタのバージョンを著しく上回ったが、Natural Questionsの長文回答タスクでは、トークン固有のクラスタリングパターンのため、向上は限定的であった。
• 最も良いパフォーマンスは、少なくとも1つのCluster-Former層を中間層（例：層8〜16）に配置した場合に得られ、終盤に配置（例：層22〜23）すると性能が低下した。
• 言語モデル作成タスク（Wikitext-103およびEnwik8）でも、Cluster-Formerは強力なベースラインを上回り、QAを越えた一般化の有効性を示した。
• 定性的な分析により、Cluster-Formerは意味的に類似したトークン（例：時間語、エンティティ）だけでなく、6000トークン以上離れた隠れ状態までも同じクラスタにグループ化できており、効果的な長距離依存関係の検出が可能であることが確認された。