[論文レビュー] Do Transformers Encode a Foundational Ontology? Probing Abstract Classes in Natural Language

Mael Jullien, Marco Valentino+1 more|arXiv (Cornell University)|Jan 25, 2022

Topic Modeling被引用数 9

ひとこと要約

この論文は、大規模なトランスフォーマー言語モデルが、抽象的意味的カテゴリの体系的プローブを通じて、基礎的オントロジー（FO）をエンコードしているかどうかを調査する。異なるBERTおよびRoBERTaモデルを用いた、基本的、二値的、単一文脈埋め込みプローブの3つの補完的FOタギングタスクを通じて、トランスフォーマーが事前学習中に偶然的にFO関連の表現を学習していることが示され、MLPプローブを用いることで、約90%の精度で堅牢な語彙レベルのFOタガーモデルを構築できることが明らかになった。

ABSTRACT

With the methodological support of probing (or diagnostic classification), recent studies have demonstrated that Transformers encode syntactic and semantic information to some extent. Following this line of research, this paper aims at taking semantic probing to an abstraction extreme with the goal of answering the following research question: can contemporary Transformer-based models reflect an underlying Foundational Ontology? To this end, we present a systematic Foundational Ontology (FO) probing methodology to investigate whether Transformers-based models encode abstract semantic information. Following different pre-training and fine-tuning regimes, we present an extensive evaluation of a diverse set of large-scale language models over three distinct and complementary FO tagging experiments. Specifically, we present and discuss the following conclusions: (1) The probing results indicate that Transformer-based models incidentally encode information related to Foundational Ontologies during the pre-training pro-cess; (2) Robust FO taggers (accuracy of 90 percent)can be efficiently built leveraging on this knowledge.

研究の動機と目的

• 事前学習中に現代のトランスフォーマー基盤モデルが、背後に潜む基礎的オントロジー（FO）をエンコードしているかどうかを調査すること。
• 「出来事」や「生物学的対象」などのドメインに依存しない高レベルのカテゴリをプローブすることで、NLPにおける抽象的意味的推論の課題に対処すること。
• 文脈埋め込みにおけるFO表現の程度を評価するための体系的なFOプローブ手法を開発・評価すること。
• 大規模言語モデルに事前にエンコードされた意味的知識を活用して、堅牢で効率的なFOタガーモデルを構築する可能性を示すこと。
• 異なるアーキテクチャ（例：BERT対RoBERTa）およびファインチューニング手法（例：NLIデータセット上でのファインチューニング）が、FOエンコードおよび下流性能に与える影響を検討すること。

提案手法

• WordNet-DOLCEの整合性を意味的基準として用い、基本的基礎的オントロジー・タギング、二値タスク、単一文脈埋め込みプローブの3つの異なるFOタギングタスクを設計する。
• 線形プローブとマルチレイヤーパーセプトロン（MLP）プローブの両方を用いて診断分類（プローブ）を行い、文脈埋め込みからのFO関連表現を抽出する。
• SNLI、MNLI、QQP、MRPCの複数のNLIデータセットでBERTおよびRoBERTaモデルをファインチューニングし、下流のファインチューニングがFOエンコードに与える影響を評価する。
• 単一文脈埋め込みプローブ用に、2,760件のサンプル（クラスごとに460件）からなるクリアなデータセットを用意し、訓練／検証／テストに552-552-1,656の比率に分割する。
• 精度と最大選別性を用いてプローブ性能を評価し、アーキテクチャおよびプローブタイプごとの結果を比較する。
• FOプローブパイプライン、データセット、および訓練済みタガーモデルをオープンソース化し、再現性および今後の研究を支援する。

実験結果

リサーチクエスチョン

• RQ1 事前学習中に、事前学習済みトランスフォーマー基盤モデルは、基礎的オントロジー（FO）カテゴリを偶然にエンコードしているか？
• RQ2 事前学習済みモデルにエンコードされた意味的知識を活用することで、堅牢な語彙レベルのFOタガーモデルを構築できるか？
• RQ3 異なるモデルアーキテクチャ（例：BERT対RoBERTa）およびファインチューニング手順（例：NLIデータセット上でのファインチューニング）は、FO情報のエンコードにどのような影響を与えるか？
• RQ4 線形プローブとMLPプローブのどちらが、FOカテゴリの検出において優れた性能を示すか？
• RQ5 ベースモデルとそのNLIファインチューニング版との間で、FOエンコードに顕著な差異が見られるか？

主な発見

• すべてのプローブタスクにおいて、ランダムベースラインをはるかに上回る有意な性能が示されたことから、トランスフォーマー基盤モデルが事前学習中に基礎的オントロジー（FO）関連の情報を偶然にエンコードしていることが裏付けられた。
• MLPプローブは、すべてのタスクで線形プローブを常に上回り、最高で0.66の精度および最大で0.37の選別性を達成した。これは、抽象的意味的知識を抽出する能力に優れていることを示している。
• 大規模言語モデルに事前にエンコードされたFO知識を活用することで、MLPプローブを用いることで、約90%の精度で堅牢で効率的なFOタガーモデルを構築できることが明らかになった。
• 異なるモデルアーキテクチャ（例：BERT対RoBERTa）や、ベースモデルとそのNLIファインチューニング版との間で顕著な差異は観察されず、配置にかかわらず一貫したFOエンコードが行われていることが示された。
• 最も優れた性能を示したのは、SNLIデータセット上でのRoBERTa largeモデルで、単一文脈埋め込みプローブタスクにおいてMLPプローブを用いて0.66の精度と0.27の最大選別性を達成した。
• NLIデータセットでのファインチューニングは、FOプローブ性能を一貫して向上させず、場合によっては低下させることさえあり、このようなファインチューニングが抽象的意味的エンコードを強化するとは限らないことが示された。