[論文レビュー] Demystifying Neural Language Models' Insensitivity to Word-Order

Louis Clouâtre, Prasanna Parthasarathi+2 more|arXiv (Cornell University)|Jul 29, 2021

Topic Modeling参考文献 67被引用数 4

ひとこと要約

本稿では、テキスト内の局所的およびグローバルな語順の摂動を定量化する2つの新しい指標—Direct Neighbour Displacement (DND) と Index Displacement Count (IDC)—を導入し、ニューラル言語モデルが局所的なトークン順序に、グローバルな再順序付けよりも依存していることを明らかにした。研究では、Transformer や LSTMs、CNNs といった最先端モデルですら、局所的な順序の乱れに対してはグローバルな再順序付けよりも顕著に感受性を示すことが示された。これは、モデルの構文的感度に関する仮定に疑問を呈するものである。

ABSTRACT

Recent research analyzing the sensitivity of natural language understanding models to word-order perturbations have shown that the state-of-the-art models in several language tasks may have a unique way to understand the text that could seldom be explained with conventional syntax and semantics. In this paper, we investigate the insensitivity of natural language models to word-order by quantifying perturbations and analysing their effect on neural models' performance on language understanding tasks in GLUE benchmark. Towards that end, we propose two metrics - the Direct Neighbour Displacement (DND) and the Index Displacement Count (IDC) - that score the local and global ordering of tokens in the perturbed texts and observe that perturbation functions found in prior literature affect only the global ordering while the local ordering remains relatively unperturbed. We propose perturbations at the granularity of sub-words and characters to study the correlation between DND, IDC and the performance of neural language models on natural language tasks. We find that neural language models - pretrained and non-pretrained Transformers, LSTMs, and Convolutional architectures - require local ordering more so than the global ordering of tokens. The proposed metrics and the suite of perturbations allow a systematic way to study the (in)sensitivity of neural language understanding models to varying degree of perturbations.

研究の動機と目的

• 最先端のニューラル言語モデルが自然言語理解タスクにおいて語順の摂動に対して感受性を示さない理由を調査すること。
• 新しい微細な摂動技術を用いて、局所的およびグローバルな語順変更がモデル性能に与える影響を定量化すること。
• テキスト内の局所的（隣接トークン）およびグローバル（全体のシーケンス）な順序の乱れを区別できる指標を開発すること。
• Transformer、LSTM、CNN といった多様なアーキテクチャ—事前学習済みおよび非事前学習済みバージョン—がこれらの摂動に対して示す感受性を評価すること。
• さまざまな程度の語順操作に対するモデルの頑健性を分析するための体系的なフレームワークを提供すること。

提案手法

• 隣接トークンペアの順序変更を測定するための Direct Neighbour Displacement (DND) 指標を提案し、局所的な順序変更を捉える。
• 各トークンが元の位置からどれほどずれているかを測定することで、グローバルな再順序付けを定量化する Index Displacement Count (IDC) 指標を導入する。
• 局所的およびグローバルな順序変更を微細に制御できるように、サブワードおよび文字レベルの摂動を設計する。
• GLUEベンチマークデータセットにこれらの摂動を適用し、複数の自然言語処理タスクにおける性能低下を評価する。
• 事前学習済みおよび非事前学習済みの Transformer、LSTM、CNN など、さまざまなモデルを制御された摂動条件下で訓練および評価する。
• DND および IDC スコアとモデルの性能低下の相関関係を分析し、局所的およびグローバルな順序への感受性の相対的影響を評価する。

実験結果

リサーチクエスチョン

• RQ1 局所的およびグローバルな語順摂動は、ニューラル言語モデルの性能にどのように異なる影響を与えるか？
• RQ2 最先端モデルは、グローバルなシーケンス構造と比較して、どれほど局所的なトークン順序に依存しているか？
• RQ3 サブワードおよび文字レベルの摂動は、文単位の再順序付けでは露わにならなかったモデル行動の隠れた感受性を明らかにできるか？
• RQ4 DND および IDC 指標は、多様なアーキテクチャおよびタスクにおいて、性能低下とどのように相関するか？
• RQ5 事前学習済みモデルは非事前学習済みモデルよりも語順の変更に対してより感受性が低いと見られるか？

主な発見

• Transformer や LSTMs、CNNs を含むニューラル言語モデルは、DND および IDC の測定において、グローバルな再順序付けよりも局所的な順序変更に対して顕著に感受性を示す。
• 先行研究における摂動は主にグローバルな順序を変更するが、隣接トークンの順序は保持されるため、モデル性能の感受性が低いことが説明できる可能性がある。
• サブワードおよび文字レベルの摂動により、大規模な事前学習モデルですら局所的な順序が理解の重要な信号であることが明らかになった。
• 提案された DND および IDC 指標は、局所的およびグローバルな順序乱れの違いを効果的に捉えており、性能低下と強い相関関係を示している。
• DND の値が増加する摂動条件下での性能低下は、IDC の値が増加する場合よりも一貫して顕著であり、局所的構造への強い依存が示唆される。
• 研究結果は、現在のモデルが構文的または意味的グローバル構造よりも局所的な逐次的パターンに依存している可能性を示しており、モデルの構文的理解に関する仮定に疑問を呈するものである。