[論文レビュー] PSSAT: A Perturbed Semantic Structure Awareness Transferring Method for Perturbation-Robust Slot Filling

Guanting Dong, Daichi Guo+11 more|arXiv (Cornell University)|Aug 24, 2022

Topic Modeling被引用数 5

ひとこと要約

PSSATは、話された言語の摂動に対してスロットフィリングのロバスト性を向上させるため、摂動を加えた意味的構造認識転送手法を提案する。無教師摂動コーパス上でMLMベースの事前学習を行い、一貫性フィルタリングを用いて学習された意味的構造を元のサンプルに転送することで、PSSATは最先端の性能を達成し、エンティティパターンの記憶を低減させ、多様な摂動において最大18.8%のF1スコア向上を実現した。

ABSTRACT

Most existing slot filling models tend to memorize inherent patterns of entities and corresponding contexts from training data. However, these models can lead to system failure or undesirable outputs when being exposed to spoken language perturbation or variation in practice. We propose a perturbed semantic structure awareness transferring method for training perturbation-robust slot filling models. Specifically, we introduce two MLM-based training strategies to respectively learn contextual semantic structure and word distribution from unsupervised language perturbation corpus. Then, we transfer semantic knowledge learned from upstream training procedure into the original samples and filter generated data by consistency processing. These procedures aim to enhance the robustness of slot filling models. Experimental results show that our method consistently outperforms the previous basic methods and gains strong generalization while preventing the model from memorizing inherent patterns of entities and contexts.

研究の動機と目的

• 意味的構造の転送により、パラフレージ、単純化、語彙的変化などの話された言語の摂動に対して脆弱な既存のスロットフィリングモデルの課題を解決すること。
• 現実世界の言語的多様性下で一般化性能が低下する固定エンティティおよび文脈パターンの記憶を低減すること。
• 無教師コーパスからの意味的構造知識を転送することで、高品質で摂動に強いトレーニングサンプルを生成するデータ拡張手法を開発すること。
• ルールベースまたは合成データ拡張に依存せずに、複数の摂動タイプにわたるモデルの一般化を向上させること。
• 意味的構造認識の有効性が、元の意図とスロット正確性を保持したまま、ロバスト性を向上させることを検証すること。

提案手法

• マルチモーダルデータセットから抽出した無教師言語摂動コーパス上でモデルを事前学習し、2つの異なるMLMベースの戦略を用いて文脈的意味的構造と語の分布を学習する。
• 意味的構造転送生成段階を用いて、事前学習済みモデルから得た意味的構造知識を元のトレーニングサンプルに転送する。
• 転送プロセス中に生成された低品質または一貫性のない拡張サンプルをフィルタリングするために一貫性処理を適用する。
• 事前学習中に意味的構造の保存と語の分布学習の両方を同時に最適化するためにマスクド言語モデリング（MLM）を用いる。
• 拡張データをダウンストリームのスロットフィリング微調整パイプラインに統合し、現実世界の摂動に対するロバスト性を向上させる。
• データ生成中に多様で人間らしい摂動を生成するために、RWM（ランダムワードマスキング）およびRCM（ランダムコンテキストマスキング）戦略を併用する。

実験結果

リサーチクエスチョン

• RQ1 無教師で現実に似た摂動を加えたコーパス上で学習されたモデルは、多様な話された言語の変化に一般化可能なロバストな意味的構造を学習できるか？
• RQ2 事前学習済み摂動データからの意味的構造知識の転送が、未知の摂動に対してスロットフィリング性能を向上させるか？
• RQ3 PSSATは、ベースラインのデータ拡張手法と比較して、固定エンティティおよび文脈パターンの記憶をどの程度低減するか？
• RQ4 PSSATは、同音語、パラフレージ、冗長性、単純化といった複数の摂動タイプにおいて、ルールベースまたは合成拡張と比較してどの程度の性能を示すか？
• RQ5 一貫性フィルタリングは、意味的整合性と意図を保持したまま、低品質な拡張サンプルを効果的に除去できるか？

主な発見

• RADDLEデータセットでは、ベースライン比で全体のF1スコアが18.8%向上し、すべての摂動タイプで一貫した向上を示した。
• SNIPSデータセットでは、混合摂動シナリオ下で33%の性能向上を達成し、強い一般化性能を示した。
• NATと異なる損失目的を用いたすべてのベースラインデータ拡張技術を上回り、クリーンおよび摂動ありの両設定で優れた性能を示した。
• 同音語（85.6 F1）および単純化（89.7 F1）においても高い性能を維持しており、構文的および語彙的変化に対して強いロバスト性を示した。
• ケーススタディにより、生成されたサンプルが元の意味を保持するとともに、パラフレージや非公式表現などの自然な話された言語のパターンを反映していることが確認された。
• アブレーションスタディにより、事前学習および一貫性フィルタリングが重要な要素であることが示され、完全なPSSATパイプラインが最良の結果をもたらした。