[論文レビュー] Unsupervised Sentence Textual Similarity with Compositional Phrase Semantics

Zihao Wang, Jiaheng Dou+1 more|arXiv (Cornell University)|Oct 5, 2022

Topic Modeling被引用数 4

ひとこと要約

本稿では、再帰的フレーズ分割と最適輸送整合を用いて構成的フレーズ意味を捉えることで、新たな教師なし文類似度手法である再帰的最適輸送類似度（ROTS）を提案する。ROTSは29のSTSベンチマークにおいて最先端の性能を達成し、従来の教師なし手法およびBERTベースのアプローチを上回る精度と効率性を発揮する。計算量は線形時間で、最小限の計算オーバーヘッドを有する。

ABSTRACT

Measuring Sentence Textual Similarity (STS) is a classic task that can be applied to many downstream NLP applications such as text generation and retrieval. In this paper, we focus on unsupervised STS that works on various domains but only requires minimal data and computational resources. Theoretically, we propose a light-weighted Expectation-Correction (EC) formulation for STS computation. EC formulation unifies unsupervised STS approaches including the cosine similarity of Additively Composed (AC) sentence embeddings, Optimal Transport (OT), and Tree Kernels (TK). Moreover, we propose the Recursive Optimal Transport Similarity (ROTS) algorithm to capture the compositional phrase semantics by composing multiple recursive EC formulations. ROTS finishes in linear time and is faster than its predecessors. ROTS is empirically more effective and scalable than previous approaches. Extensive experiments on 29 STS tasks under various settings show the clear advantage of ROTS over existing approaches. Detailed ablation studies demonstrate the effectiveness of our approaches.

研究の動機と目的

• 大規模なラベル付きデータや高コストな事前学習を必要とせず、軽量で効果的なフレーズレベルの意味を捉える教師なしSTS手法の開発。
• 従来の教師なしSTSアプローチ（加法的構成、最適輸送、ツリー核）を共通の期待値補正（EC）定式化で統合すること。
• 最適輸送を用いて細分化されたフレーズ埋め込みを組み合わせることで、階層的フレーズ整合を可能にする再帰的フレームワークの設計。
• 最小限の計算コストとデータ要件で、教師なしSTSにおいて高い性能とスケーラビリティを達成すること。

提案手法

• AC、OT、TK手法を統合する枠組みとして期待値補正（EC）類似度定式化を導入し、それらの共通する構造的性質を明らかにする。
• 構成的意味のモデリングを可能にするために、文を再帰的にフレーズレベルの構成要素に分解する再帰的フレーズ分割（RPP）を提案する。
• 各再帰的分割レベルでEC類似度を適用し、粗いスケールから細かいスケールへ向かうように事前最適輸送を用いて整合をガイドする、再帰的最適輸送類似度（ROTS）を構築する。
• 再帰的レベル間でフレーズベクトルと重みの加法的合成を採用することで、意味の階層を保持し、整合精度を向上させる。
• 複数の再帰的レベルにおけるEC類似度の重み付きアンサンブルを採用し、最適なパフォーマンスを得るためのハイパーパrameterが簡単に調整可能である。
• 動的計画法と再帰的分解を活用することで、線形時間の計算量を達成し、長文へのスケーラビリティを実現する。

実験結果

リサーチクエスチョン

• RQ1 AC、OT、TKといった従来の教師なしSTS手法を統合的に改善できるような、EC類似度のような統一的定式化は有効であるか？
• RQ2 単に語彙レベルの整合に加えて、再帰的フレーズレベルの整合を組み込むことで、文類似度モデリングの性能はどの程度向上するか？
• RQ3 再帰的分解による構成的フレーズ意味の統合は、多様なドメインにわたり、STSパフォーマンスに顕著な向上をもたらすか？
• RQ4 リソースが限られた環境下で、古典的な教師なし手法およびBERTベースの教師ありアプローチと比較して、ROTSの精度と効率性はどの程度優れているか？

主な発見

• ROTSは29の多様なSTSベンチマークで最先端のパフォーマンスを達成し、BERTベースのモデルを含むすべての従来の教師なし手法を、有効性と効率性の両面で上回る。
• STS-Benchmarkでは、ParaNMTベクトルを用いてピアソン相関が72.90（95%信頼区間：[71.36, 74.38]）を達成し、次に優れた手法より0.6ポイント以上上回った。
• SupWordベクトルを用いる場合、STS-Bで79.74（95%信頼区間：[77.41, 81.77]）を達成し、異なる単語埋め込みタイプに対しても高い頑健性を示した。
• ROTSは29の全タスクでAC、WRD、OTベースラインを一貫して上回り、ピアソン相関の平均で1.5〜2.5ポイントの向上を達成した。
• アブレーションスタディの結果、再帰的フレーズ整合と事前最適輸送の使用が不可欠であることが確認され、それらを除去すると性能が著しく低下した。
• ROTSは線形時間で実行され、従来の再帰的またはツリーに基づく手法よりも著しく高速であり、実世界のアプリケーションへのスケーラブルな展開を可能にした。