[論文レビュー] BERT Rediscovers the Classical NLP Pipeline

Ian Tenney, Dipanjan Das+1 more|arXiv (Cornell University)|May 15, 2019

Topic Modeling参考文献 14被引用数 50

ひとこと要約

この論文は edge probing タスクを用いて BERT を検証し、言語情報が統語から意味論へとパイプラインのように整理され、個々の文が高位の手掛かりに基づいて低位の決定を修正できることを示す。

ABSTRACT

Pre-trained text encoders have rapidly advanced the state of the art on many NLP tasks. We focus on one such model, BERT, and aim to quantify where linguistic information is captured within the network. We find that the model represents the steps of the traditional NLP pipeline in an interpretable and localizable way, and that the regions responsible for each step appear in the expected sequence: POS tagging, parsing, NER, semantic roles, then coreference. Qualitative analysis reveals that the model can and often does adjust this pipeline dynamically, revising lower-level decisions on the basis of disambiguating information from higher-level representations.

研究の動機と目的

• 伝統的な NLP パイプラインから派生した probing タスクを用いて BERT のどの層で異なる言語 abstractions がエンコードされているかを定量化する。
• 構文から意味論へと期待される階層的順序に従ってエンコディングがあるかを判断する。
• BERT が固定の層列で文を処理するのか、それとも高位情報を使って決定を動的に修正するのかを評価する。

提案手法

• 複数のタスクに対して probing 分類器を介して frozen BERT 層から言語情報を抽出する edge probing を用いる。
• 8つのタスク（POS、Constituents、Dependencies、Entities、SRL、Coreference、SPR、SemEval relations）を適用し、評価指標としてマイクロ平均 F1 を用いる。
• 層情報をスカラー混合でプールしてタスク別表現を得る。
• 層ごとのゲインを observe するために、段階的に大きいサブセットの層で probes を訓練して累積スコアを算出する。
• 混合重みの重心と累積スコアベースの期待層を補完的な指標として定義する。

実験結果

リサーチクエスチョン

• RQ1 BERT は従来の NLP パイプライン（POS、構文、意味、コアリファレンス）と整合する順序で言語情報をエンコードしているか？
• RQ2 構文情報と意味情報の表現は層をまたいでどれだけ局在しているか？
• RQ3 高位情報は各文ごとに低位の決定に影響を与え、再修正するのか？
• RQ4 edge-probing の結果は BERT-base と BERT-large のエンコーダでどのように異なるか？
• RQ5 個々の文は高位情報によって非連続的な処理決定を示すことがあるか？

主な発見

• 層を通じて基本的な統語情報がより複雑な意味情報に先行する一貫した進行が観察される。
• 統語情報は数層に局在しやすいのに対し、意味情報は多くの層に分散している。
• 差分スコアは多くの例が初期の層で解決されることを示す一方、累積スコアは意味タスクで高層での継続的な利得を示す。
• 例ごとの分析は、個々の文が predicate-argument 構造などの高位情報に基づいて前の決定を修正できることを示す。
• observed ordering は BERT-large と BERT-base の両方で、タスク関連層の相対的配置が類似している。