[論文レビュー] Modelling Commonsense Properties using Pre-Trained Bi-Encoders

Amit Gajbhiye, Luis Espinosa-Anke+1 more|arXiv (Cornell University)|Oct 6, 2022

Topic Modeling被引用数 5

ひとこと要約

本論文は、ハイパニム-ハイパニムペアと一般文を用いて、概念とその日常的性質のための別個のエンコーダーをファインチューニングするバイエンコーダー枠組みを提案し、特にトレーニングとテストの性質が重複しないゼロショット設定において、言語モデルを直接ファインチューニングする手法よりも顕著に高い正確性を達成している。

ABSTRACT

Grasping the commonsense properties of everyday concepts is an important prerequisite to language understanding. While contextualised language models are reportedly capable of predicting such commonsense properties with human-level accuracy, we argue that such results have been inflated because of the high similarity between training and test concepts. This means that models which capture concept similarity can perform well, even if they do not capture any knowledge of the commonsense properties themselves. In settings where there is no overlap between the properties that are considered during training and testing, we find that the empirical performance of standard language models drops dramatically. To address this, we study the possibility of fine-tuning language models to explicitly model concepts and their properties. In particular, we train separate concept and property encoders on two types of readily available data: extracted hyponym-hypernym pairs and generic sentences. Our experimental results show that the resulting encoders allow us to predict commonsense properties with much higher accuracy than is possible by directly fine-tuning language models. We also present experimental results for the related task of unsupervised hypernym discovery.

研究の動機と目的

• トレーニングセットとテストセットの間に概念類似性があるために、言語モデルの日常的性質予測性能が誇張されている問題に対処すること。
• トレーニングとテストの性質が分離された、より現実的な評価設定を構築し、概念類似性への依存を低減すること。
• ハイパニミーのデータと一般文を、日常的性質をモデル化するための事前学習信号としての有用性を調査すること。
• 概念とその性質の関係を明示的にモデル化するバイエンコーダー・アーキテクチャの設計と評価を行うこと。

提案手法

• 正例ペア（概念とその性質）の類似度を最大化するように、対照的学習の目的関数を用いて、概念と性質のエンコーダーを別々にファインチューニングする。
• バイエンコーダーを2つのデータソースで事前学習する：マイクロソフトコンセプトグラフからのハイポニム-ハイパニムペアと、GenericsKBからの一般文。
• 共通のトランスフォーマー・エンコーダーを有するシアンズ型ネットワークアーキテクチャを採用し、概念と性質の表現を生成した後、コサイン類似度層を適用する。
• 推論時に与えられた概念に対して上位k個の性質を効率的に検索するために、最大内積探索（MIPS）を適用する。
• 正例ペア（概念とその性質）を引き寄せる一方で、負例ペアを遠ざけるように、対照的損失関数を用いてモデルを学習する。
• テストの性質がトレーニングに存在しない新しいゼロショット設定でモデルを評価する。

実験結果

リサーチクエスチョン

• RQ1 トレーニングとテストの性質が分離された場合、標準的な言語モデルの日常的性質予測性能は著しく低下するか？
• RQ2 ハイパニミーのデータと一般文の事前学習により、バイエンコーダー・モデルの未観測の性質への一般化性能が向上するか？
• RQ3 提案されたバイエンコーダー・アーキテクチャは、概念とその性質の間の意味的・分類的関係をどれほど効果的に捉えられるか？
• RQ4 モデルの予測が、表面的な概念類似性ではなく、真の日常的知識を反映しているか、その程度はどの程度か？

主な発見

• トレーニングとテストの性質が重複しない新しいゼロショット評価設定では、標準的な言語モデルはほぼランダムに近い性能を示しており、過去の性能が概念類似性に起因していたことが示された。
• 提案されたバイエンコーダー・モデルは、日常的性質予測において、直接ファインチューニングされた言語モデルを上回っており、特にゼロショットのシナリオで顕著な優位性を示している。
• ハイパニミーのデータ（例：Microsoft Concept Graph）と一般文（例：GenericsKB）の事前学習により高い性能が得られ、後者では特に高いロバスト性が確認された。
• 定性的な分析から、抽象的・物理的の両方の概念に対しても、ハイパニムや意味的属性を含む意味的に適切な性質が正しく検索されていることがわかった。
• モデルは性質の含意関係をうまく捉えているが、一部の予測は逆含意や意味的関連性を反映しており、厳密なハイパニミー関係ではない。
• 標準的なファインチューニングに比べ、バイエンコーダー・アプローチはより優れた一般化性能を示しており、概念-性質関係を明示的にモデル化することでゼロショット転送性能が向上することが明らかになった。