[論文レビュー] TX-Ray: Quantifying and Explaining Model-Knowledge Transfer in (Un-)Supervised NLP

Nils Rethmeier, Vageesh Saxena+1 more|arXiv (Cornell University)|Dec 2, 2019

Explainable Artificial Intelligence (XAI)参考文献 28被引用数 8

ひとこと要約

TX-Ray は、事前学習、ゼロショット推論、微調整の各段階におけるニューロン活性化の好みを分析することで、NLP モデルにおける知識移転を定量化および可視化する画期的な説明可能手法を導入する。この手法はコンピュータビジョン分野の活性化最大化を NLP に拡張し、自己教師ありモデルが言語的抽象化をどのように構築し、監視付き学習がニューロンの好みをどのように再構成するかを詳細に追跡可能にする。剪定実験により、タスクに不要なニューロンを特定し、一般化性能を向上させることを裏付けた。

ABSTRACT

While state-of-the-art NLP explainability (XAI) methods focus on explaining per-sample decisions in supervised end or probing tasks, this is insufficient to explain and quantify model knowledge transfer during (un-)supervised training. Thus, for TX-Ray, we modify the established computer vision explainability principle of 'visualizing preferred inputs of neurons' to make it usable transfer analysis and NLP. This allows one to analyze, track and quantify how self- or supervised NLP models first build knowledge abstractions in pretraining (1), and then transfer these abstractions to a new domain (2), or adapt them during supervised fine-tuning (3). TX-Ray expresses neurons as feature preference distributions to quantify fine-grained knowledge transfer or adaptation and guide human analysis. We find that, similar to Lottery Ticket based pruning, TX-Ray based pruning can improve test set generalization and that it can reveal how early stages of self-supervision automatically learn linguistic abstractions like parts-of-speech.

研究の動機と目的

• サンプルごとの意思決定の説明を超えて、教師なしおよび教師あり NLP 学習における知識移転を説明・定量化する手法の欠如に応えること。
• 自己教師ありモデルが事前学習段階で品詞（POS）のような言語的抽象化をどのように構築するかを分析可能にすること。
• 再トレーニングなしで、事前学習段階から新しいドメインへの知識移転をゼロショットで測定すること。
• 微調整段階における監視付き学習が、ニューロンの好みをどのように再構成し、モデルの抽象化に知識を「逆方向」に伝えるかを調査すること。
• TX-Ray の測定値に基づく剪定が、テストセットの一般化性能を向上させることを示すことにより、手法の忠実性を検証すること。

提案手法

• TX-Ray は、コンピュータビジョン分野の活性化最大化を NLP に適応させ、ニューロンをトークンや品詞タグのような離散的入力上での特徴好みの分布としてモデル化する。
• 事前学習（ソースコーパス上で）、ゼロショット推論（ターゲットドメイン上で）、微調整（監視付きで）の3段階における活性化分布を計算・比較する。
• ニューロンの知識移転は、活性化質量の分布シフトを測定することで定量化され、スパarsity（スパarsity）は専門化を示し、広がりのある分布は一般化を示す。
• この分布を用いてニューロンの剪定を誘導し、タスク関連特徴に対して好みが低いニューロンを削除することで一般化性能が向上する。
• 詳細なニューロンレベルの分析と、各段階におけるソート済み活性化質量の可視化を通じて、高レベルのモデル全体像を提供する。
• このアプローチは BERT スタイルのエンコーダーに適用され、IMDB および WikiText-2 データセットを用いて活性化パターンと剪定結果により検証された。

実験結果

リサーチクエスチョン

• RQ1 自己教師あり事前学習段階における NLP モデルの知識移転を、どのように説明・定量化できるか？
• RQ2 再トレーニングなしで、事前学習済みモデルが新しいドメインに適用する知識のサブセットは何か（すなわち、ゼロショット設定下での知識移転は？）
• RQ3 監視付きラベルからの知識移転は、事前学習済みモデルの内部抽象化に「逆方向」に伝わるか？
• RQ4 TX-Ray に基づく剪定測定値は、削除したときにテストセットの一般化性能を向上または低下させるニューロンを特定できるか？
• RQ5 事前学習のどの段階で、モデルが品詞（POS）のような言語的抽象化を学び始めるか？

主な発見

• TX-Ray は、事前学習段階で自己教師あり学習が自動的に品詞（POS）のような言語的抽象化を学習していることを明らかにした。特に、訓練初期段階でニューロンが POS タグに強い好みを示すことが観察された。
• 監視付きデータで微調整を経た後、ニューロンの活性化分布は顕著にスパース化（例：ピーク活性化質量の増加）し、ダウンストリームタスクに特化した分布を示した。
• TX-Ray の好み分布に基づく剪定により、テストセットの一般化性能が向上した。これは、手法がタスクに不要なニューロンを適切に同定できることを裏付けた。
• 監視付き学習は、崩壊的忘却（catastrophic forgetting）を引き起こすだけでなく、これまで未使用だったニューロンを活性化させ、以前は好まれなかった特徴に対しても新たな知識を追加した。
• ドメインの不一致（pretraining とゼロショット推論の間）は、分布が広く弱い活性化パターンとして検出され、TX-Ray による可視化で明確に示された。
• TX-Ray の可視化では、微調整済みモデルがより高いピーク活性化質量と短いテールを持つことが確認され、より集中的かつタスク特化型の抽象化が実現していることが示された。