[論文レビュー] Neural Language Priors

Joseph Enguehard, Dan Busbridge+2 more|arXiv (Cornell University)|Oct 4, 2019

Topic Modeling参考文献 36被引用数 4

ひとこと要約

この論文は、学習手順を独立にした文表現の質に与えるニューラルネットワークエンコーダー構造の影響を調査する。強いインダクティブバイアス（自己注意機構やグラフベースのモデルなど）を備えたアーキテクチャであっても、弱い事前知識を持つ単純なモデルと比べて性能向上がほとんど見られないことが判明した。これは、学習信号が制御された状況下では、アーキテクチャのインダクティブバイアスが下流タスクの成功に果たす役割が限定的であることを示唆している。

ABSTRACT

The choice of sentence encoder architecture reflects assumptions about how a sentence's meaning is composed from its constituent words. We examine the contribution of these architectures by holding them randomly initialised and fixed, effectively treating them as as hand-crafted language priors, and evaluating the resulting sentence encoders on downstream language tasks. We find that even when encoders are presented with additional information that can be used to solve tasks, the corresponding priors do not leverage this information, except in an isolated case. We also find that apparently uninformative priors are just as good as seemingly informative priors on almost all tasks, indicating that learning is a necessary component to leverage information provided by architecture choice.

研究の動機と目的

• 学習信号とは独立して、エンコーダー構造が文表現の質に与える寄与を特定すること。
• 自己注意機構やグラフベースのモデルなどの強い言語事前知識を持つアーキテクチャが、弱いかあるいは情報のない事前知識を持つアーキテクチャを上回るかを評価すること。
• 学習手順を一定に保った状態で、アーキテクチャのインダクティブバイアスが下流タスクのパフォーマンスに顕著に影響を与えるかを評価すること。
• 強いインダクティブバイアスが自然言語処理タスクにおける一般化を必然的に向上させるという仮定に挑戦すること。

提案手法

• 下流タスクの学習信号を同一に保ち、さまざまなアーキテクチャに対して文エンコーダーを学習させ、構造的要因の影響を隔離した。
• 自己注意機構やグラフネットワークなどの強い言語事前知識を持つアーキテクチャと、bag-of-words や単純な順方向ネットワークなどの最小限のインダクティブバイアスを持つアーキテクチャを比較した。
• 固定された学習目的とデータ分割を用いて、パフォーマンスの差が最適化やデータの違いではなく、アーキテクチャそのものに起因することを保証した。
• 標準的なNLPベンチマークでモデルを評価し、さまざまなタスクにおける下流パフォーマンスを測定した。
• ファインチューニング、データオーグメンテーション、タスク固有の適応などの要因を排除するため、制御された学習プロトコルを適用した。
• 同じ学習条件下でパフォーマンス差を測定し、アーキテクチャバイアスの相対的寄与度を評価した。

実験結果

リサーチクエスチョン

• RQ1 学習信号を一定に保った場合、エンコーダー構造の選択が文表現の質に顕著な影響を与えるか？
• RQ2 自己注意機構やグラフ構造などの強いインダクティブバイアスを持つアーキテクチャが、弱い事前知識を持つアーキテクチャを下流NLPタスクで上回るか？
• RQ3 学習ダイナミクスとは独立して、アーキテクチャのインダクティブバイアスが一般化にどの程度貢献するか？
• RQ4 同じ学習条件下で、最小限のインダクティブバイアスを持つモデルが、強い事前知識を持つモデルと同等のパフォーマンスを達成できるか？

主な発見

• 自己注意機構やグラフベースのモデルなどの強いインダクティブバイアスを持つアーキテクチャは、弱いかあるいは情報のない事前知識を持つモデルと比べて、ほとんどパフォーマンス向上が見られなかった。
• 構文的または依存関係構造を利用した明示的な構造的事前知識を持つモデルですら、学習信号を一定に保った場合、単純なアーキテクチャと同等の性能を示した。
• この結果から、学習手順が制御された状況下では、アーキテクチャのインダクティブバイアスが下流タスクのパフォーマンスにほとんど寄与しないことが示唆された。
• 学習条件を厳密に制御した状態では、アーキテクチャ間のパフォーマンス差が最小限であり、統計的に有意ではなかった。
• これは、強いインダクティブバイアスが自然言語処理タスクで一般化を必然的に向上させるという一般的な仮定に疑問を呈するものである。
• この発見は、データ品質、モデルスケール、最適化手法といった他の要因が、アーキテクチャ設計よりもパフォーマンスを決定づける要因として優位に働く可能性を示唆している。