[論文レビュー] Low-Resource Task-Oriented Semantic Parsing via Intrinsic Modeling

Shrey Desai, Akshat Shrivastava+2 more|arXiv (Cornell University)|Apr 15, 2021

Topic Modeling参考文献 20被引用数 12

ひとこと要約

本論文は、オントロジーのラベル属性（タイプ、スパン）を構造化されたインベントリに統合することで、サンプル効率を向上させる、低リソース向けタスク指向意味解析の在庫ベースで内在的なモデリング手法を提案する。新しいドメインからたった10件のサンプルで微調整された事前学習済みseq2seq変換器を用いることで、コピー・ジェネレートベースラインより+15 EM（相対的に44%）の性能向上を達成した。

ABSTRACT

Task-oriented semantic parsing models typically have high resource requirements: to support new ontologies (i.e., intents and slots), practitioners crowdsource thousands of samples for supervised fine-tuning. Partly, this is due to the structure of de facto copy-generate parsers; these models treat ontology labels as discrete entities, relying on parallel data to extrinsically derive their meaning. In our work, we instead exploit what we intrinsically know about ontology labels; for example, the fact that SL:TIME_ZONE has the categorical type "slot" and language-based span "time zone". Using this motivation, we build our approach with offline and online stages. During preprocessing, for each ontology label, we extract its intrinsic properties into a component, and insert each component into an inventory as a cache of sorts. During training, we fine-tune a seq2seq, pre-trained transformer to map utterances and inventories to frames, parse trees comprised of utterance and ontology tokens. Our formulation encourages the model to consider ontology labels as a union of its intrinsic properties, therefore substantially bootstrapping learning in low-resource settings. Experiments show our model is highly sample efficient: using a low-resource benchmark derived from TOPv2, our inventory parser outperforms a copy-generate parser by +15 EM absolute (44% relative) when fine-tuning on 10 samples from an unseen domain.

研究の動機と目的

• 新しいドメイン向けにタスク指向意味解析器を訓練する際の高いデータコストを低減すること。通常、数千件のアノテート済み例が必要となる。
• 外在的監視に依存し、低リソース環境で帰納的バイアスを欠くコピー・ジェネレートパーサーの限界を克服すること。
• カテゴリカルタイプや自然言語スパンといったオントロジー・ラベルの内在的性質を活用することで、ゼロショットおよびフェイシング一般化を向上させること。
• アーキテクチャの変更なしに標準的な事前学習済み変換器と組み合わせられる、サンプル効率が高く、柔軟で解釈可能なフレームワークを開発すること。
• TOPv2から派生させた包括的な低リソースベンチマーク上で、高い構成的複雑性を示す挑戦的なドメインも含め、強力な性能を示すこと。

提案手法

• ドメイン内の各オントロジー・ラベルから、ラベルタイプ（例："スロット"）や自然言語スパン（例："タイムゾーン"）といった内在的性質を抽出する。
• これらのラベル成分を構造化したコレクションとしてドメイン固有のインベントリを構築し、キャッシュされた解釈可能な知識源とする。
• 入力発話とそのドメインのインベントリを、発話トークンとオントロジー・トークンからなる意味フレームにマップするように、事前学習済みseq2seq変換器（BART）を微調整する。
• オントロジー・トークンを離散的な語彙項目として扱うのでなく、インベントリ成分へのポインタとして扱い、内在的属性から再構成可能にする。
• エンコーダーの自己注意機構を用いて、発話スパンと関連するインベントリ成分をアライメントさせ、文脈に応じた解釈可能な生成を可能にする。
• TOPv2から派生させた新しい低リソースベンチマーク上で、ドメインごとに10～250件のターゲットサンプルを用いた、1つを除いた交差ドメイン設定で訓練および評価する。

実験結果

リサーチクエスチョン

• RQ1 オントロジー・ラベルの内在的性質（例：タイプ、スパン）を活用することで、タスク指向意味解析におけるフェイシング一般化が向上するか？
• RQ2 オントロジー・ラベルをその内在的成分の集合としてモデル化することで、標準的なコピー・ジェネレートアプローチと比較して、低リソース環境下での性能にどのような影響を与えるか？
• RQ3 ラベルタイプとスパンの組み合わせが、多様で高複雑性のドメインにおいて、どの程度サンプル効率とロバストネス向上に寄与するか？
• RQ4 事前学習済み変換器と構造化インベントリを用いたシンプルでモジュラーなアプローチが、より複雑なタスク特化アーキテクチャを上回る性能を発揮できるか？
• RQ5 特にリマインダーとナビゲーションのような挑戦的なドメインにおいて、ラベル付きデータの量が減少するに従って、モデルの性能はどのように変化するか？

主な発見

• 未学習ドメインからたった10件のサンプルで微調整したインベントリベースモデルは、強力なコピー・ジェネレートベースラインを+15 EM（相対的に44%）上回った。
• より小さなモデル（139Mパラメータ）でさえ、大きなコピー・ジェネレートモデル（406Mパラメータ）を多くの低リソース設定で上回った。
• TOPv2-DAベンチマークの全8ドメインにおいて、リマインダーとナビゲーションのような高複雑性ドメインも含め、体系的な性能向上を達成した。
• アブレーションスタディにより、ラベルタイプとスパンの両方が重要であることが確認され、併用することで最も強い性能向上が得られた。
• 誤差解析の結果、予測されたフレームは言語的に整合性が高く、ゴールスタンダードに到達するまでに最小限の編集で済むことが示され、高精度と解釈可能性を示した。
• 本アプローチはドメイン間で良好に一般化され、特に構成的構造が複雑でオントロジーが大きなドメインにおいてもロバストであることが示された。