[論文レビュー] Language Through a Prism: A Spectral Approach for Multiscale Language Representations

Alex Tamkin, Dan Jurafsky+1 more|arXiv (Cornell University)|Nov 9, 2020

Topic Modeling参考文献 72被引用数 22

ひとこと要約

本稿では、離散コサイン変換（DCT）を用いたスペクトル的手法を提案し、深層言語表現におけるマルチスケール言語構造を分離する。入力系列におけるニューロン活性にスペクトルフィルタを適用することで、語彙レベル、発話レベル、文書レベルといった異なるスケールの情報を分離可能となり、スケール固有のタスクで性能向上を実現する。主な貢献はプリズム層であり、ニューロンが特定のスケールに特化するよう学習させることで、長距離依存関係のモデリングを強化し、マルチスケールNLPタスクにおいてBERTを上回る性能を達成する。

ABSTRACT

Language exhibits structure at different scales, ranging from subwords to words, sentences, paragraphs, and documents. To what extent do deep models capture information at these scales, and can we force them to better capture structure across this hierarchy? We approach this question by focusing on individual neurons, analyzing the behavior of their activations at different timescales. We show that signal processing provides a natural framework for separating structure across scales, enabling us to 1) disentangle scale-specific information in existing embeddings and 2) train models to learn more about particular scales. Concretely, we apply spectral filters to the activations of a neuron across an input, producing filtered embeddings that perform well on part of speech tagging (word-level), dialog speech acts classification (utterance-level), or topic classification (document-level), while performing poorly on the other tasks. We also present a prism layer for training models, which uses spectral filters to constrain different neurons to model structure at different scales. Our proposed BERT + Prism model can better predict masked tokens using long-range context and produces multiscale representations that perform better at utterance- and document-level tasks. Our methods are general and readily applicable to other domains besides language, such as images, audio, and video.

研究の動機と目的

• 事前学習された言語モデル（例：BERT）が、サブワードから文書まで、複数スケールにわたる言語構造をどのように表現しているかを理解すること。
• 事前に定義された言語構造に依存せずに、ニューラルネットワークの活性化において異なる時間スケールの情報を分離・制御する一般化されたフレームワークを構築すること。
• 特定のスケールにおける構造を捉えるようにニューロンを訓練することで、スケール固有のNLPタスクにおけるモデル性能を向上させること。
• 広い時間スケールの情報を保持するように制約を課すことにより、長距離文脈モデリングを強化すること。
• 信号処理分野におけるスペクトル解析技術をNLPに拡張し、マルチスケール表現の解釈可能性と制御性を高めること。

提案手法

• 各ニューロンの入力トークンにわたる活性化系列に離散コサイン変換（DCT）を適用し、周波数ドメインでの表現を生成する。
• スペクトルフィルタリング（ローパス、バンドパス、ハイパス）を用いて、ニューロン活性化における特定の時間スケールに対応する成分を効果的に除去または保持する。
• 高速（語彙レベル）または遅速（文書レベル）の変動を強調するようにフィルタリングすることで、スケール分離表現を構築する。
• プリズム層—学習可能なモジュールであり、訓練中に異なるニューロンに異なるスペクトルフィルタを適用し、それぞれが異なるスケールに特化するように強制する。
• プリズム層を備えたBERTベースのモデルを訓練し、長距離依存関係に敏感なマルチスケール表現を生成する。
• DCT係数の減衰戦略を用いて不要な周波数成分を抑制し、目的のスケールにおける構造を明確に分離する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済み言語モデル（例：BERT）は、複数スケールにわたって言語構造をどの程度に表現しているのか？
• RQ2 アーキテクチャの変更なしに、スペクトルフィルタリングを用いて既存のニューラル表現からスケール固有の情報を分離可能か？
• RQ3 スペクトル制約を用いて、モデルが特定のスケールにおける構造を捉えるように訓練可能か？
• RQ4 プリズム層は、長距離文脈を必要とするタスクやマルチスケール理解を要するタスクで性能を向上させるか？
• RQ5 スペクトルフィルタリングは、マスクされた言語モデルタスクにおける長距離依存関係へのモデルの感受性にどのように影響を与えるか？

主な発見

• スペクトルフィルタリングにより、スケール固有の情報が成功裏に分離された：ローパスフィルタリングされた表現は文書レベルのトピック分類で最良の性能を示し、バンドパスは発話レベルの対話行動分類で、ハイパスは語彙レベルの品詞タグ付けで優れた性能を発揮した。
• BERT + Prismモデルは、品詞タグ付け、対話行動分類、トピック分類の3つのタスクすべてで、標準的なBERTと同等またはそれ以上の性能を達成し、マルチスケール表現学習の向上を実証した。
• プリズム層により、マスク言語モデルタスクで長距離文脈を含む文脈的推論を要するタスクで性能が向上したことで、モデルの長距離文脈への感受性が向上したことが裏付けられた。
• スペクトルフィルタを用いて訓練されたフィルタリング済み表現は、ターゲットタスクでは優れた性能を示したが、他のタスクでは劣化した。これは、スケールの分離が成功裏に達成されたことを確認するものである。
• 本手法はNLPに限らず汎用的である：時間的または空間的軸に沿った構造的表現を持つ任意のモデル（視覚、音声、時系列など）へも適用可能である。
• スペクトル解析は、深層モデルが異なるスケールに情報如何をエンコードする仕組みを、原理的かつ解釈可能なフレームワークで探査・制御可能にする。