[論文レビュー] Towards better substitution-based word sense induction

Asaf Amrami, Yoav Goldberg|arXiv (Cornell University)|May 29, 2019

Topic Modeling参考文献 16被引用数 50

ひとこと要約

この論文は substitution-based WSI を Bert ベースの代替候補と動的クラスタリングで拡張し、各センスの代替候補シグネチャによる解釈性を導入し、失敗モードの誤り分析を行う。

ABSTRACT

Word sense induction (WSI) is the task of unsupervised clustering of word usages within a sentence to distinguish senses. Recent work obtain strong results by clustering lexical substitutes derived from pre-trained RNN language models (ELMo). Adapting the method to BERT improves the scores even further. We extend the previous method to support a dynamic rather than a fixed number of clusters as supported by other prominent methods, and propose a method for interpreting the resulting clusters by associating them with their most informative substitutes. We then perform extensive error analysis revealing the remaining sources of errors in the WSI task. Our code is available at https://github.com/asafamr/bertwsi.

研究の動機と目的

• 強力な文脈型LM（BERT）から導出された置換ベクトルを活用して、語義推定（WSI）を改善する。
• ターゲット語ごとのセンス数を固定から動的へ移行する。
• 情報性の高い代替（ signitures）を通じてセンスクラスタの解釈可能性を高める。
• WSI における残る誤りモードを診断し、今後の研究を指針とする。

提案手法

• LSDP フレームワークで ELMo ベースの置換を BERT ベースの置換に置き換える。
• より良い置換を得るために、括弧付きパターンおよび関連パターンといった動的パターンを組み込む。
• 代表候補のソフトクラスタリングを用いて（1件あたり k*r サンプル）代表者のハードクラスタリングと事例のソフトクラスタリングを作成する。
• 動的センス数手順を導入: 最大で 10 センスを過生成し、センスを強い/弱いとして分類し、弱い方を強い方に統合する。これに基づき再クラスタリングする。
• 各センスに対して PMI ベースのシグネチャ（上位の置換）を計算してクラスタを解釈する。

実験結果

リサーチクエスチョン

• RQ1 置換ベースの WSI において ELMo を BERT に置換することは、標準ベンチマークの性能を向上させるか。
• RQ2 ターゲット語ごとの動的なセンス数を許容することは、固定センス手法と比べて WSI の品質を向上させるか。
• RQ3 センスごとの代替シグネチャは WSI クラスタの解釈性と誤り分析を改善するか。
• RQ4 置換ベースの WSI における残る誤りモードは何か、またそれらをどう緩和できるか。

主な発見

Model	FNMI	FBC	AVG
Ours	21.4 (0.5)	64.0 (0.5)	37.0 (0.5)
Ours:ND	19.3 (0.7)	63.6 (0.2)	35.1 (0.6)
LSDP	25.4	57.5	25.4
AutoSense	7.96	61.7	22.16
MCC-S	7.62	55.6	20.58
ST(SW)	7.14	55.4	19.89
AI-KU	6.5	39.0	15.92
--	--	--	--
--	--	--	--

• 動的パターンを用いた BERT ベースの置換は SemEval 2013 Task 13 および 2010 Task 14 で最先端の結果を達成し、動的パターンは強力な BERT の性能に対して AVG を約 2 点向上させる。
• 固定の 7 センス設定はこれらのタスクで良好な性能を示すが、弱/強の剪定を含む動的 10 センス過生成は、異なる粒度に対して原理的なアプローチを提供する。
• 動的センス誘導は SemEval 2013 の AVG を改善しなかったが、妥当なセンス構造を生成し、金標準センス数との Spearman 相関は 0.43±0.05 を示した。オラクル様の調整は、おおまかに NOAD ベースの粗粒度のベースラインと約 0.44 で一致する。
• PMI ベースのシグネチャによるクラスタの解釈可能性は、コアなセンス特性を明らかにし、SPLIT、MERGE、TOPIC、TEMPLATE、および LM 関連のエラーの診断に役立つ。
• 誤り分析は主要な失敗モードとして、LM 置換エラー、SPLIT/MERGE の区別、TOPIC 置換、TEMPLATE パターン、および OTHER の整合性の取れていないクラスタを特定している。