[論文レビュー] jiant: A Software Toolkit for Research on General-Purpose Text Understanding Models

Yada Pruksachatkun, Phil Yeres+6 more|arXiv (Cornell University)|Mar 4, 2020

Topic Modeling参考文献 34被引用数 20

ひとこと要約

jiant は、GLUE や SuperGLUE ベンチマークを含む 50 以上の NLU タスクで汎用的テキスト理解モデルの学習および評価を行うためのオープンソースで設定駆動のツールキットです。BERT や RoBERTa などの最先端モデルを用いたモジュラーで再現可能な実験を可能にし、複数のタスクで発表済みのパフォーマンスを高い正確性で再現します。

ABSTRACT

We introduce jiant, an open source toolkit for conducting multitask and transfer learning experiments on English NLU tasks. jiant enables modular and configuration-driven experimentation with state-of-the-art models and implements a broad set of tasks for probing, transfer learning, and multitask training experiments. jiant implements over 50 NLU tasks, including all GLUE and SuperGLUE benchmark tasks. We demonstrate that jiant reproduces published performance on a variety of tasks and models, including BERT and RoBERTa. jiant is available at https://jiant.info.

研究の動機と目的

• 多様な NLU タスクにわたる汎用的テキスト理解モデルの学習および評価のための統合的でモジュラーかつ再現可能なプラットフォームを提供すること。
• コード変更ではなく設定による方法で、マルチタスク学習、トランスファー学習、マルチフェーズ学習（例：中間タスクのファインチューニング）などの複雑な学習パイプラインをサポートすること。
• 研究者がソースコードを変更せずに最先端のモデルやベンチマークタスクを簡単に試験できるようにすること。
• SuperGLUE ベンチマークの公式ベースラインコードベースとして機能し、NLU 研究における一貫性と再現可能性を確保すること。
• モジュラーなアーキテクチャと活発なオープンソース貢献モデルを通じて、新しいタスク、モデル、学習設定への拡張性を促進すること。

提案手法

• jiant は、実験を定義するための設定駆動インターフェース（HOCON 形式）を用い、タスク、文エンコーダー、出力ヘッド、学習ハイパーパramータを指定します。
• HuggingFace Transformers や AllenNLP と統合することで、事前学習済みモデルや学習パイプラインを活用し、低レベルの実装詳細を抽象化します。
• ツールキットにはモジュラーなコンponentアーキテクチャが含まれており、以下の構成要素があります：タスク（データ、処理、メトリクス）、文エンコーダー（例：BERT、ELMo、BiLSTM）、タスク固有の出力ヘッド（例：NLI や POS 用）、トレーナー（学習ループとチェックポイント処理用）。
• マルチフェーズ学習は、設定で定義されたパイプラインによりサポートされており、例として pretraining → 中間タスクのファインチューニング → 目的タスクのファインチューニング といったプロセスが可能で、STILTs で用いられる方法と同様です。
• jiant は、ログ記録、モデルのチェックポイント処理、および全タスクにわたる標準化されたデータ処理を通じて再現性を確保します。
• 単一タスクおよびマルチタスク学習をサポートしており、GLUE、SuperGLUE、SentEval、エッジプローブィングなどの人気ベンチマークに対応しています。

実験結果

リサーチクエスチョン

• RQ1 jiant は、RoBERTa-large を用いて CommonsenseQA や SocialIQA といった標準的な NLU ベンチマークで発表済みのパフォーマンスを再現できるか？
• RQ2 jiant は、マルチフェーズのトランスファー学習（例：中間タスクのファインチューニングの後、目的タスクのファインチューニング）といった複雑な学習レジームをどの程度効果的にサポートできるか？
• RQ3 jiant のモジュラーなアーキテクチャは、コード変更なしに新しいタスクやモデルへの拡張をどの程度容易に可能にするか？
• RQ4 jiant の設定駆動設計は、コードベースの学習パイプラインと比較して、再現性および使いやすさの観点でどのように異なるか？
• RQ5 jiant は、SuperGLUE ベンチマークのような大規模な NLU ベンチマーク評価のための信頼性が高く標準化されたベースラインとして機能できるか？

主な発見

• jiant は RoBERTa-large を用いて CommonsenseQA で発表済みのパフォーマンスを再現し、72.2% の正確度を達成した。これは報告された 72.1% に非常に近い値である。
• BERT-large を用いた SocialIQA では、jiant が開発セットの正確度を 65.8% に達成し、報告された 66.0% と非常に近い値となった。
• MNLI からのトランスファー学習において BoolQ に適用した場合、jiant は開発セットの正確度を 78.1% から 80.3% に向上させ、報告された 78.1% から 82.2% への改善に近い結果を得た。
• jiant は、コード変更ではなく設定による方法で、STILTs のようなマルチフェーズ学習パイプラインを成功裏にサポートした。
• ツールキットは、50 以上の対応タスクすべてにわたるログ記録、チェックポイント処理、標準化されたデータ処理を通じて高い再現性を維持している。
• jiant は、プローブ、トランスファー学習、ベンチマーク構築の分野で複数の研究で活用されており、実世界の NLP 研究における実用性と堅牢性を確認している。