[論文レビュー] BERT Knows Punta Cana is not just Beautiful, it's Gorgeous : Ranking Scalar Adjectives with Contextualised Representations

Aina Garí Soler, Marianna Apidianaki|arXiv (Cornell University)|Jan 1, 2020

Topic Modeling参考文献 46被引用数 11

ひとこと要約

本稿では、外部の語彙やパターンベースの規則に依存せずに、文脈に依存する表現から直接強度ベクトルを学習することで、スカラルな形容詞の強度をランク付けするBERTベースの手法を提案する。この手法は、性別バイアス検出にインspiredされたベクトル演算を用いて純粋な強度方向を導出し、静的分散表現や先行モデルを上回る性能を示す。イントラクティブなベンチマークおよび間接的質問応答タスクにおいて、最先端の性能を達成した。

ABSTRACT

Adjectives like pretty, beautiful and gorgeous describe positive properties of the nouns they modify but with different intensity. These differences are important for natural language understanding and reasoning. We propose a novel BERT-based approach to intensity detection for scalar adjectives. We model intensity by vectors directly derived from contextualised representations and show they can successfully rank scalar adjectives. We evaluate our models both intrinsically, on gold standard datasets, and on an Indirect Question Answering task. Our results demonstrate that BERT encodes rich knowledge about the semantics of scalar adjectives, and is able to provide better quality intensity rankings than static embeddings and previous models with access to dedicated resources.

研究の動機と目的

• BERTがその文脈に依存する表現に、形容詞の強度に関する意味的知識をどのようにエンコードしているかを調査すること。
• 最小限の監視（例：1組の形容詞）のみを用いて、リソース軽量なスカラル形容詞ランク付け手法を開発すること。
• BERT表現が、さまざまな意味的スケール（例：美しさ、温度、サイズ）における強度関係を効果的に捉えられるかを評価すること。
• BERTベースの強度ベクトルが、静的単語埋め込みや先行のパターン・語彙ベースのモデルと比較して、どのように性能を発揮するかを比較すること。
• BERTの異なる層が強度表現にどの程度寄与しているかを分析し、形容詞の強度に関する意味的知識が最も効果的にエンコードされる層を特定すること。

提案手法

• 本手法は、スケールに意味的に整合する文（例：『Punta Cana is beautiful』は美しさスケールに対応）から、形容詞の文脈に依存するBERT表現を抽出する。
• スケール内で最も極端な形容詞（例：『mild』と『gorgeous』）の表現の差分を計算することで、純粋な強度方向ベクトル（−−−→dVec）を導出する。
• 任意の新しい形容詞の強度は、そのBERT表現をこの学習済み強度ベクトルに射影することで推定され、外部リソースを一切必要としない相対的ランク付けが可能になる。
• 本手法は、性別バイアス検出技術にインspiredされており、単語ペア（例：she vs. he）から埋め込み空間内の方向を学習し、ここでは強度関係に応用している。
• 2つのバリエーションで評価：DIFFVEC-1 (+) は正のペア（例：『good』と『awesome』）を、DIFFVEC-1 (−) は負のペア（例：『bad』と『horrible』）を用いる。前者が優れた性能を示した。
• 性能評価は、ゴールドスタンダードデータセット（DEMELO, CROWD, WILKINSON）におけるイントラクティブ評価と、間接的質問応答タスクにおける外部的評価の両方で実施された。

実験結果

リサーチクエスチョン

• RQ1 BERTの文脈に依存する表現は、外部リソースやパターン規則に依存せずに、スカラル形容詞間の信頼性の高い強度関係をエンコードできるか？
• RQ2 『good』と『awesome』のような1組の形容詞ペアから導出された強度ベクトルは、同じスケール内の他の形容詞を効果的にランク付けできるか？
• RQ3 本手法の性能は、静的単語埋め込みや過去のパターン・語彙ベースのモデルと比較して、イントラクティブおよび外部的タスクの両方でどのように異なるか？
• RQ4 BERTのどの層がスカラル形容詞の強度ランク付けに最も関連する意味的知識を含んでいるか？
• RQ5 なぜ正のペアよりも負のペアの方が性能が劣るのか？また、語彙頻度と極性はこの差異にどのように影響しているか？

主な発見

• 正の形容詞ペア（例：『good』と『awesome』）を1組だけ用いて強度ベクトルを導出するDIFFVEC-1 (+) メソッドが、すべてのデータセットで最高の性能を示し、静的単語埋め込みおよび先行モデルを上回った。
• 本手法は、間接的質問応答タスクにおいても最先端の結果を達成し、下流NLPアプリケーションにおける実用的価値を示した。
• BERT表現は豊富な強度知識をエンコードしており、特に上位4層（特に最後の4層）で性能がピークに達しており、高層層がより洗練された意味的差異を捉えていることが示された。
• より強い形容詞の表現からより弱い形容詞の表現を差し引いたベクトル −−−→dVec は、意味と強度を組み合わせた生のBERTSIMベクトルよりも、より明確で汎用性の高い強度表現を提供した。
• 正のペアと負のペアの性能差は、語彙頻度の観点から部分的に説明できる：『good』や『awesome』のような頻度の高い語は、『bad』や『horrible』のような頻度が低い対義語よりも、より質の高い表現を持つため、DIFFVEC-1 (+) の優れた性能が説明できる。
• 本手法は文の選択に強く依存せず、文を慎重に選択してもランダムに抽出しても性能が安定しており、BERTの事前学習済み知識が十分に一般化可能であることが示された。