[論文レビュー] Representation of linguistic form and function in recurrent neural networks

Ákos Kádár, Grzegorz Chrupała+1 more|arXiv (Cornell University)|Feb 29, 2016

Multimodal Machine Learning Applications参考文献 26被引用数 17

ひとこと要約

本稿では、多タスクゲート付き再帰的ニューラルネットワークにおける隠れ活性化パターンに注目し、再帰的ニューラルネットワーク（RNNs）が言語の形態と機能をどのように符号化するかを分析するための新規手法を導入する。棄却スコアとtop-kコンテキスト分析を用いて、画像予測パスは意味的・豊かな語彙的カテゴリーおよび文法的機能に選択的に注目していることが示され、一方言語モデルは構文的構造により感受性が高く、長期依存関係やタスク固有のパターンを符号化する専門化した隠れユニットを有する。

ABSTRACT

We present novel methods for analyzing the activation patterns of RNNs from a linguistic point of view and explore the types of linguistic structure they learn. As a case study, we use a multi-task gated recurrent network architecture consisting of two parallel pathways with shared word embeddings trained on predicting the representations of the visual scene corresponding to an input sentence, and predicting the next word in the same sentence. Based on our proposed method to estimate the amount of contribution of individual tokens in the input to the final prediction of the networks we show that the image prediction pathway: a) is sensitive to the information structure of the sentence b) pays selective attention to lexical categories and grammatical functions that carry semantic information c) learns to treat the same input token differently depending on its grammatical functions in the sentence. In contrast the language model is comparatively more sensitive to words with a syntactic function. Furthermore, we propose methods to ex- plore the function of individual hidden units in RNNs and show that the two pathways of the architecture in our case study contain specialized units tuned to patterns informative for the task, some of which can carry activations to later time steps to encode long-term dependencies.

研究の動機と目的

• 本稿の目的は、言語的構造の観点からRNN隠れ状態を解釈可能に分析するための手法を開発することにある。
• 異なるRNNパスが多タスクアーキテクチャ内で言語の形態と機能をどのように符号化するかを調査することにある。
• 目的は、RNN内の分散表現が言語の構文的・意味的・情報構造的性質をどのように反映しているかを解明することにある。
• 長期依存関係やタスク関連パターンを符号化する専門化した隠れユニットを同定することにある。
• 本研究の目的は、他のRNNアーキテクチャやタスクへ一般化可能な言語的分析のフレームワークを提供することにある。

提案手法

• 棄却スコアは、個々の入力トークンが最終予測に与える寄与度を定量化する手法として導入され、トークンをマスキングして予測の変化を観察することで重要性を測定する。
• top-kコンテキスト法は、各隠れユニットを最も活性化させる文脈を特定し、ユニット機能の定性的および定量的分析を可能にする。
• 隠れユニット活性化のバイニング済みバージョンとコンテキストタイプ（例：語彙的n-gram、依存関係関係）との間で相互情報量が計算され、関連強度を測定する。
• コンテキストタイプには語彙的n-gram（1-gram, 2-gram, 3-gram）および構文的依存関係（deprel n-gram）が含まれる。
• 活性化分布は、各隠れユニットごとに5%-密度パーセンタイルに分けられたビンに離散化され、統計的比較を可能にする。
• ブートストラップリサンプリング（5000リピート）を用いて、2パス間の中央値相互情報量比のばらつきを評価する。

実験結果

リサーチクエスチョン

• RQ1 画像予測と言語モデルという異なるタスクで学習されたRNNパスは、語彙的カテゴリーおよび文法的機能といった言語的特徴に対して、どのように感受性の違いを示すか？
• RQ2 RNNの隠れユニットは、語彙的コンテンツを超えて、構文的構造や意味的テーマといった抽象的な言語的パターンをどれくらい符号化しているか？
• RQ3 相互情報量によるコンテキストタイプとの関連性を測定することで、2つのパスは構文的情報と意味的情報の符号化にどのように異なるか？
• RQ4 各パスにおいて、どの入力トークンが最終予測に最も寄与しているか？また、これは文法的機能によってどのように変化するか？
• RQ5 隠れユニットは時間ステップに跨って活性化を保持し、長期依存関係を符号化できるか？このようなユニットは2つのパスでどのように異なるか？

主な発見

• 画像予測パス（VISUAL）は情報構造に感受性が高く、文頭の名詞に選択的に注目していることが示された。これらはトピックである可能性が高い。
• VISUALは意味的内容を有する語彙的カテゴリーおよび文法的機能（特定の文法的役割における名詞・動詞など）に、より選択的に注目している。
• 言語モデル（TEXTUAL）は局所的な構文的特徴に感受性が高く、隠れユニットが構文的構造（例：依存関係）に強く関連している。
• 隠れユニットと依存関係（deprel）コンテキストとの中央値相互情報量は、TEXTUALにおいてVISUALよりも顕著に高く、ブートストラップ分布に重複はなかった。
• 両パスの隠れユニットは専門化している：一部のユニットは特定の構文的カテゴリーまたは意味的テーマを符号化し、一部は時間ステップに跨って活性化を保持し、長期依存関係の符号化を支援する。
• 棄却スコア法は、キーティンクンを効果的に同定でき、意味的内容と文法的機能が予測への寄与に共同で影響していることが明らかになった。