[論文レビュー] What Makes Sentences Semantically Related: A Textual Relatedness Dataset and Empirical Study

Mahmoud A. Abdalla, Krishnapriya Vishnubhotla+1 more|arXiv (Cornell University)|Oct 10, 2021

Topic Modeling被引用数 6

ひとこと要約

本論文は、比較的アノテーションフレームワークを用いて意味的テクスト的関連性についてアノテートされた5,500組の英語文のペアを含む新しいデータセットSTR-2022を紹介している。このデータセットは高いアノテーター間一貫性（r = 0.84）を達成している。研究では、関連性に関する人間の直感が信頼できることが示され、関連性に影響を与える主な言語的要因の同定がなされ、STR-2022が文表現の評価および下流のNLPタスクにおける有用性が示された。

ABSTRACT

The degree of semantic relatedness of two units of language has long been considered fundamental to understanding meaning. Additionally, automatically determining relatedness has many applications such as question answering and summarization. However, prior NLP work has largely focused on semantic similarity, a subset of relatedness, because of a lack of relatedness datasets. In this paper, we introduce a dataset for Semantic Textual Relatedness, STR-2022, that has 5,500 English sentence pairs manually annotated using a comparative annotation framework, resulting in fine-grained scores. We show that human intuition regarding relatedness of sentence pairs is highly reliable, with a repeat annotation correlation of 0.84. We use the dataset to explore questions on what makes sentences semantically related. We also show the utility of STR-2022 for evaluating automatic methods of sentence representation and for various downstream NLP tasks. Our dataset, data statement, and annotation questionnaire can be found at: https://doi.org/10.5281/zenodo.7599667

研究の動機と目的

• 意味的テキスト的関連性（STR）に関する高品質で細分化されたデータセットの不足に応えること。STRは、意味的類似性と比較して、NLP分野においてあまり研究が進んでいないが、重要な側面である。
• 粗いスケールのスコアを用いた従来のデータセットの限界を克服すること。これには、スケール領域バイアスや一貫性の欠如するラベル付けの問題が含まれる。
• 文のペアが意味的に関連している要因を調査すること。類似性を越えて、意味の広いつながりを捉えることを目的とする。
• 新しいデータセットを用いて、既存の文表現手法が意味的関連性をベクトル空間にどの程度保持しているかを評価すること。
• より良い表現学習を通じて、下流のNLPタスクにおけるSTR-2022の有用性を示すこと。

提案手法

• 多様なソース（SNSやウェブテキストなど）から5,500組の多様な英語文のペアを収集し、言語的多様性を確保する。
• アノテーターが文のペアを絶対的スコアを付ける代わりに、お互いの相対的な順位を付ける比較的アノテーションスキームを採用することで、スケールバイアスを低減し、信頼性を向上させる。
• 連続的な0〜1スケール上で細分化された関連性スコアを取得し、人間の直感による意味的近接性を反映させる。
• 統計的分析を実施し、アノテーター間一貫性を評価。再アノテーションで相関係数0.84を達成し、高い信頼性が示された。
• 語彙的重複、品詞のパターン、構文的構造（例：主語・目的語の役割）などの言語的特徴を分析し、関連性の予測要因を同定する。
• 単語埋め込みの平均プーリングや最大プーリングなどの事前学習済み文埋め込みの、ベクトル空間における関連性の保持能力を評価する。

実験結果

リサーチクエスチョン

• RQ1 人間の話者が文のペアの意味的関連性についてどの程度一貫して合意できるのか。
• RQ2 意味的関連性を最も強く予測する言語的および構造的特徴は何か。
• RQ3 既存の文表現モデルは、ベクトル空間において意味的関連性をどの程度適切に保持しているか。
• RQ4 関連性のための改善されたアノテーションスキームは、下流のNLPタスクにおけるパフォーマンスをどのように向上させうるか。
• RQ5 STR-2022のような人間によるアノテーションを施したSTRデータセットの倫理的および代表的限界は何か。

主な発見

• 意味的関連性に関する人間の直感は非常に信頼性が高く、再アノテーションの相関係数が0.84に達し、アノテーター間で強い一貫性が確認された。
• 語彙的重複と構文的類似性（例：共通の主語や目的語の役割）は関連性の重要な予測要因であるが、唯一の要因ではない。
• 共通のトピックやテーマの連続性がある文のペアは、語彙的重複が低くても、より高い関連性スコアを得る傾向がある。
• 既存の文表現手法、特に文脈を考慮した埋め込みを用いる手法は、人間によるアノテートされた関連性スコアと中程度から強い相関を示した。
• 比較的アノテーション手法は、従来のスケールベースのアプローチと比較して、スケールバイアスを顕著に低減し、信頼性を向上させた。
• 関連性は二値ではなく連続的なスケールに存在し、'関連あり'と'関連なし'の閾値は文脈に依存しており、絶対的ではないことがデータセットから明らかになった。