[論文レビュー] minicons: Enabling Flexible Behavioral and Representational Analyses of Transformer Language Models

Kanishka Misra|arXiv (Cornell University)|Mar 24, 2022

Topic Modeling被引用数 27

ひとこと要約

miniconsは、トランスフォーマー言語モデルの行動的（予測レベル）および表現的（活性化レベル）分析を行う標準APIを提供するオープンソースのPythonライブラリであり、BERTの学習ダイナミクスとゼロショット・アブダティブ推論に関するケーススタディを含む。

ABSTRACT

We present minicons, an open source library that provides a standard API for researchers interested in conducting behavioral and representational analyses of transformer-based language models (LMs). Specifically, minicons enables researchers to apply analysis methods at two levels: (1) at the prediction level -- by providing functions to efficiently extract word/sentence level probabilities; and (2) at the representational level -- by also facilitating efficient extraction of word/phrase level vectors from one or more layers. In this paper, we describe the library and apply it to two motivating case studies: One focusing on the learning dynamics of the BERT architecture on relative grammatical judgments, and the other on benchmarking 23 different LMs on zero-shot abductive reasoning. minicons is available at https://github.com/kanishkamisra/minicons

研究の動機と目的

• 事前学習中に何を学ぶのかを理解するため、トランスフォーマー ベースのLMの体系的な分析を促進・実現します。
• 複数の層にわたる語/系列の確率と文脈付き埋め込みを抽出する標準APIを提供します。
• 学習ダイナミクスとゼロショットアブダクティブ推論を説明する2つの動機づけcase studyを実演します。
• miniconsをHugging Faceエコシステムと統合されたスケーラブルなツールとして位置づけ、BlackboxNLP分析へのアクセスを拡大します。

提案手法

• バッチ対応の分析ワークフローを備えた2つのコアモジュール：予測レベル分析のscorerと表現分析のcwe。
• scorerはMaskedLMScorerとIncrementalLMScorerの両方をサポートし、トークン・シーケンス・部分条件付き確率を抽出し、対数確率・驚き・語/順位情報などの指標を導出します。
• cwe.extract_representation()は単一層または複数層から文脈付き埋め込みを提供し、サブワード表現の削減オプションやフレーズ・文の埋め込みの取得オプションを提供します。
• 分析は事前学習済みモデルでファインチューニングなしにエンドツーエンドで実行でき、CPUまたはGPU上のバッチ計算を活用します。
• ライブラリはTransformersとHugging Face Model Hubと統合し、大規模なベンチマークを可能にします。
• ケーススタディの方法には、BERT系の言語現象の学習ダイナミクスを追跡することと、部分スコア計算を用いて複数のLMのアブダクティブ推論を評価することが含まれます。

実験結果

リサーチクエスチョン

• RQ1 予測ベースの分析として観察されるように、トランスフォーマーLMは事前学習中にどのように言語現象を学習するか？
• RQ2 シーケンス確率で測定されるゼロショット設定において、事前学習済みLMはどの程度アブダクティブ推論能力を示すか？
• RQ3 標準APIは多様なモデルとデータセットに跨るスケーラブルで再現性のある行動的・表現的分析を促進できるか？

主な発見

• 学習ダイナミクスは、多くの言語現象においてMultiBERTsが参照モデルであるBERT-baseへ収束することを示し、獲得速度は現象によって異なる。
• 特定の現象（例：数/性の一致）は早く学習される一方で、他の現象（例：アイランド効果）はより遅く学習される。
• 教師なしアブダクティブ推論の結果は、ほとんどのモデルがほぼ偶然かそれと同程度の性能を示し、最先端レベルに近づくのはファインチューニングや明示的な知識統合を通じてのみである。
• ALBERT-xxlarge-v2は、パラメータ効率が高いにもかかわらずゼロショット設定で比較的強いアブダクティブ推論性能を達成する。
• 結果は、規模拡大だけではゼロショットアブダクティブ推論の大きな改善につながらないことを示唆しており、改善にはアーキテクチャや知識強化戦略が必要である可能性が高い。
• miniconsは、確率と文脈付き埋め込みの標準化された効率的抽出を提供することで、こうした分析の再現と拡張を可能にします。