[論文レビュー] Discovery of Natural Language Concepts in Individual Units of CNNs

Seil Na, Yo Joong Choe+2 more|arXiv (Cornell University)|Feb 18, 2019

Topic Modeling参考文献 36被引用数 5

ひとこと要約

本論文は、自然言語処理用の深層畳み込みニューラルネットワーク（CNN）における各ユニットがどの形態素、語、および句を検出しているかを特定するための概念アライメント手法を提案する。テキストを複製してユニットの活性を測定することで、CNNユニットが解釈可能な言語的コンセプトに対して選択的に反応することを明らかにした。これは、中間表現が追加の教師信号なしに意味のある言語単位を符号化していることを示しており、コンセプトの頻度、重要性、およびユニット活性との間に高い相関関係があることを示している。

ABSTRACT

Although deep convolutional networks have achieved improved performance in many natural language tasks, they have been treated as black boxes because they are difficult to interpret. Especially, little is known about how they represent language in their intermediate layers. In an attempt to understand the representations of deep convolutional networks trained on language tasks, we show that individual units are selectively responsive to specific morphemes, words, and phrases, rather than responding to arbitrary and uninterpretable patterns. In order to quantitatively analyze such an intriguing phenomenon, we propose a concept alignment method based on how units respond to the replicated text. We conduct analyses with different architectures on multiple datasets for classification and translation tasks and provide new insights into how deep models understand natural language.

研究の動機と目的

• NLPモデルの中間層における深層畳み込みネットワークの自然言語表現の仕組みを理解し、NLPモデルにおける解釈可能性の欠如に対処する。
• NLPタスク用のCNNにおける個々のユニットが特定の言語的コンセプトに対して選択的に反応するのか、あるいは任意のパターンに対して反応するのかを調査する。
• 各ネットワークユニットがどの自然言語コンセプト（形態素、語、句）を符号化しているかを体系的に特定する手法を開発する。
• ネットワークの深さ、アーキテクチャ、タスクタイプ、データ分布に応じて、これらのコンセプト表現がどのように変化するかを分析する。
• トレーニングデータにおけるコンセプトの出現頻度やタスクの目的関数に対する影響（DEL）と、コンセプトの出現時期との関係を探索する。

提案手法

• CNNの隠れ層内の各ユニットについて、トレーニングセット内で最も活性化された文を特定する。
• 最も活性化された文を形態素、語、および句に分解し、候補となる自然言語コンセプトを抽出する。
• 各コンセプトをダミーのトークンに体系的に置き換えた複製テキスト上でユニット活性を測定し、寄与度を評価する。
• 元のテキストと遮断（occluded）されたテキストの間の活性差を測定することで、各コンセプトがユニット反応にどの程度寄与しているかを数量化する。
• この概念アライメント手法を、複数のアーキテクチャ（VDCNN、ByteNet）、データセット（Yelp、AG News、DBpedia、Europarl、News Commentary）、タスク（分類、翻訳）に適用する。
• 各コンセプトにアライメントされたユニット数を、文書頻度とDelta of Expected Loss（DEL）と相関させ、タスクパフォーマンスへの影響を評価する。

実験結果

リサーチクエスチョン

• RQ1 NLPタスク用のCNNにおける個々のユニットは、特定の形態素、語、または句に対して選択的に反応するのか、それとも解釈不能な方法で反応するのか？
• RQ2 ネットワークの深さ、アーキテクチャ、トレーニングタスクに応じて、ユニットが検出する言語的コンセプトはどのように変化するか？
• RQ3 なぜ特定のコンセプトが多数のユニットによって検出されるのか、他のコンセプトはそうでないのかを決定づける要因は何か？
• RQ4 コンセプト検出のパターンが、トレーニングデータにおけるコンセプトの頻度やモデル損失への影響（DEL）とどの程度相関しているか？
• RQ5 ユニットレベルでのコンセプト検出の知見は、パラメータを削減してもパフォーマンスを損なわずに効率的なモデル設計を可能にするか？

主な発見

• NLPタスク用のCNNにおける個々のユニットは、特定の形態素、語、および句を効果的に検出する選択的検出器として機能しており、中間表現が解釈可能で意味的に意味のあるものであることを示している。
• 追加のラベル付けや再トレーニングなしに、この手法により言語的コンセプトがユニットにアライメントされていることが成功裏に確認され、ユニットが任意のパターンではなく自然言語コンセプトに反応していることが明らかになった。
• トレーニングデータにおけるコンセプトの頻度と、それを検出するユニット数との間に強い正の相関関係（r = 0.732）がある。
• モデルパフォーマンスに高い影響を与えるコンセプト（DELで測定）は、ユニットとのアライメント度も高くなる（r = 0.492）ことが示され、ユニットがタスクに不可欠な情報を符号化していることが裏付けられた。
• コンセプトの粒度は、中程度から高い層（例：ByteNetでは約6層目のエンコーダー以降）で安定化することが判明し、深層部では与えられたタスクに対して顕著な新しい言語的情報が追加されない可能性があることを示唆している。
• 分析から、中層の表現はすでに非常に情報量が多く、中間層が深層部よりも転移可能である可能性を支持する結果が得られた。これは、コンピュータビジョンとは対照的である。