[論文レビュー] The Goldilocks Principle: Reading Children's Books with Explicit Memory Representations

Felix Hill, Antoine Bordes+2 more|arXiv (Cornell University)|Jan 1, 2016

Topic Modeling被引用数 307

ひとこと要約

本稿では、言語モデルにおけるゴールディLOCKS原則を提案し、中間的なテキスト長さ（長すぎず短すぎない）の明示的でウィンドウベースの記憶表現を保存することで、子ども向け図書における意味的コンテンツ語予測のパフォーマンスが最適化されることを実証している。このような記憶を用いるモデルは、標準的なニューラル言語モデルを上回り、意味的な語に対して特に優れた性能を発揮し、これらの記憶に対する自己教師付き注意機構の訓練を通じて、CNN QAタスクで最先端の結果を達成している。

ABSTRACT

Abstract: We introduce a new test of how well language models capture meaning in children's books. Unlike standard language modelling benchmarks, it distinguishes the task of predicting syntactic function words from that of predicting lower-frequency words, which carry greater semantic content. We compare a range of state-of-the-art models, each with a different way of encoding what has been previously read. We show that models which store explicit representations of long-term contexts outperform state-of-the-art neural language models at predicting semantic content words, although this advantage is not observed for syntactic function words. Interestingly, we find that the amount of text encoded in a single memory representation is highly influential to the performance: there is a sweet-spot, not too big and not too small, between single words and full sentences that allows the most meaningful information in a text to be effectively retained and recalled. Further, the attention over such window-based memories can be trained effectively through self-supervision. We then assess the generality of this principle by applying it to the CNN QA benchmark, which involves identifying named entities in paraphrased summaries of news articles, and achieve state-of-the-art performance.

研究の動機と目的

• 子ども向け図書における意味の捉え方を、文法的機能語の予測と意味的コンテンツ語の予測に分けて、言語モデルがどれほど意味を捉えられるかを評価すること。
• 明示的な長期記憶表現が、標準的な自己回帰的モデリングに比べて、意味的予測タスクにおけるパフォーマンスを向上させるかどうかを調査すること。
• 意味的なテクスト情報の保持と再考に最適な記憶ウィンドウサイズを特定すること。
• 提案された記憶メカニズムが、物語的でない、事実中心のタスク（例：ニュース要約における固有表現認識）へ一般化可能かどうかを評価すること。
• ウィンドウベースの記憶表現に対する注意機構が、外部の教師信号なしに自己教師学習によって効果的に訓練可能かどうかを検討すること。

提案手法

• 著者らは、子ども向け図書における文法的機能語（例：'the', 'and'）の予測と、低頻度の意味的コンテンツ語（例：'dog', 'happy'）の予測を分離する新しいベンチマークを設計した。
• 異なるメカニズムを用いて過去の文脈をエンコードする最先端の言語モデルを比較し、明示的な記憶表現を備えたモデルを含む。
• 記憶メカニズムは、長さが可変な中間テキストスパン（ウィンドウ）を保存し、入力上をスライディングウィンドウで移動させながら、固定サイズの記憶ベクトルを更新する。
• これらの記憶ウィンドウに対する注意機構は、自己教師学習を用いてエンドツーエンドで訓練され、モデルが関連する過去の内容を動的に注目できるようにする。
• 手法は子ども向け図書の予測タスクで評価され、その後、固有表現同定のためのCNN質疑応答ベンチマークへと転移された。
• 性能は、意味的コンテンツ語および固有表現の予測精度で測定され、記憶ウィンドウサイズに関するアブレーションスタディが実施された。

実験結果

リサーチクエスチョン

• RQ1 標準的な自己回帰的モデルと比較して、長期的文脈の明示的表現を保存することで、子ども向け図書における意味的コンテンツ語予測のパフォーマンスが向上するか？
• RQ2 意味的な情報を効果的に保持するための最適なウィンドウサイズが存在するか？もしあるならば、その特徴的なスケールは何か？
• RQ3 ウィンドウベースの記憶表現に対する注意機構は、外部の教師信号なしに自己教師学習によって効果的に訓練可能か？
• RQ4 提案された記憶メカニズムは物語的テキストを超えて、事実中心で言い換えられたニュース要約のようなタスクへ一般化可能か？これは、CNN QAベンチマークにおける性能によって裏付けられる。
• RQ5 明示的な記憶表現によるパフォーマンスの向上効果は、文法的機能語と意味的コンテンツ語の両方に対して同等に成立するか？

主な発見

• 明示的な記憶表現を備えたモデルは、子ども向け図書における意味的コンテンツ語予測において、最先端のニューラル言語モデルを上回る性能を発揮した。
• 文法的機能語に対しては、明示的記憶によるパフォーマンスの向上が観察されなかったため、意味的コンテンツ語に対してのみ選択的な利点があることが示された。
• 記憶ウィンドウサイズに「最適な領域（ゴールディLOCKS領域）」が存在し、その領域では意味的予測のパフォーマンスが最大化される。
• 記憶ウィンドウに対する注意機構は、自己教師学習によって効果的に訓練可能であり、過去の情報を動的かつ文脈に応じて再考できるようにした。
• ゴールディLOCKS原則は物語的でないテキストへも一般化可能であり、固有表現同定タスクにおけるCNN QAベンチマークで最先端のパフォーマンスを達成した。
• 最適な記憶ウィンドウサイズは実証的に中程度のサイズであることが判明し、あまりに細かすぎるか、あまりに圧縮された表現はパフォーマンスを低下させることを示唆している。