[論文レビュー] Probing What Different NLP Tasks Teach Machines about Function Word Comprehension

Najoung Kim, Roma Patel+10 more|arXiv (Cornell University)|Apr 25, 2019

Topic Modeling参考文献 45被引用数 4

ひとこと要約

この論文は、既存のデータセットからの文を構造的に変異させることで、関係代名詞、wh-語、否定など関数語の理解度を評価するための9つのターゲットプロービングタスクを導入する。これらのタスクを用いて、言語モデル化、NLI、CCGスーパークラスタギングなどの事前学習目的を比較し、平均的には言語モデル化が最も優れた性能を示す一方、NLIは否定の理解を向上させ、CCGスーパークラスタギングは文境界検出を改善することが判明。これにより、さまざまな目的に特有の言語的インダクティブバイアスが存在することが明らかになった。

ABSTRACT

We introduce a set of nine challenge tasks that test for the understanding of function words. These tasks are created by structurally mutating sentences from existing datasets to target the comprehension of specific types of function words (e.g., prepositions, wh-words). Using these probing tasks, we explore the effects of various pretraining objectives for sentence encoders (e.g., language modeling, CCG supertagging and natural language inference (NLI)) on the learned representations. Our results show that pretraining on language modeling performs the best on average across our probing tasks, supporting its widespread use for pretraining state-of-the-art NLP models, and CCG supertagging and NLI pretraining perform comparably. Overall, no pretraining objective dominates across the board, and our function word probing tasks highlight several intuitive differences between pretraining objectives, e.g., that NLI helps the comprehension of negation.

研究の動機と目的

• 異なる事前学習目的が関数語理解に関連する文表現にどのように影響を与えるかを調査すること。
• モデルアーキテクチャを一定に保つことで、事前学習目的の影響を隔離し、制御された比較を可能にすること。
• 関数語が構成的意味に果たす重要な役割にもかかわらず、プロービング文献におけるその不足した代表性を是正すること。
• 将来的な関数語理解に関する研究のための高品質で言語学的に整備されたプロービングデータセットを公開すること。

提案手法

• 著者らは、既存データセットの文に対して標的的な構造的変異を加えることで、9つのプロービングタスクを構築し、特定の関数語タイプ（例：前置詞、否定、不定詞）に焦点を当てる。
• 各タスクは、最小限の句法学的または語彙的変更によって引き起こされる意味の変化をモデルが正しく識別できるかを評価する。
• プロービングタスクは文のペア分類問題として設計されており、モデルは変更された文が元の文の意味を保っているかどうかを判断する必要がある。
• 同じモデルアーキテクチャ上で、言語モデル化、CCGスーパークラスタギング、自然言語推論といった複数の事前学習目的を評価する。
• 各事前学習目的がエンコードする言語的知識を比較するために、すべての9つのタスクで性能を測定する。
• 事前学習データサイズとプロービングデータセット間の語彙の重複度が与える影響を評価するアブレーションスタディを実施する。

実験結果

リサーチクエスチョン

• RQ1 異なる事前学習目的は、前置詞、wh-語、否定といった関数語の理解度にどのように影響を与えるか？
• RQ2 多様な言語現象にわたって、どの事前学習目的が最も頑健な関数語理解を実現するか？
• RQ3 事前学習目的に由来する言語的インダクティブバイアスは、文エンコーダー内での関数語表現にどの程度影響を与えるか？
• RQ4 特定の関数語タイプ（例：空間的意味 vs. 否定）に対して、事前学習目的に応じてモデルの処理方法が体系的に異なるか？
• RQ5 事前学習データサイズを増やすか、語彙の重複度を高めることは、関数語プロービング性能を一貫して向上させるか？

主な発見

• 言語モデル化による事前学習は、全9タスクの平均性能で最も優れており、現在のNLP実務におけるその優位性を裏付けた。
• 自然言語推論（NLI）による事前学習は、特に複雑な否定パターンにおいて、モデルの否定理解能力を顕著に向上させた。
• CCGスーパークラスタギングによる事前学習は、意味的文境界の検出を改善しており、これが文構造をより効果的に捉えている可能性を示唆している。
• どの関数語タイプに対しても、1つの事前学習目的がすべてのタスクで優れているとは限らず、目的間で相補的な強みが存在することが判明した。
• 事前学習データセットとプロービングデータセット間の語彙の重複度は、性能の予測要因として顕著ではなく、性能の差は主に言語的インダクティブバイアスに起因していると考えられる。
• 事前学習データサイズの増加は一貫した性能向上をもたらさず、場合によっては大きなデータセットが逆に性能を悪化させることがある。これは、潜在的な負のインダクティブバイアスが存在することを示唆している。