[論文レビュー] Coupling Retrieval and Meta-Learning for Context-Dependent Semantic Parsing

Daya Guo, Duyu Tang+3 more|arXiv (Cornell University)|Jun 17, 2019

Topic Modeling参考文献 42被引用数 10

ひとこと要約

本稿では、文脈に依存する意味解析、たとえばコード生成や会話型質問応答の分野で性能を向上させるために、文脈に配慮したリtrievalとモデルに依存しないメタラーニング（MAML）を組み合わせた新規フレームワークを提案する。潜在変数を用いたエンコーダ・デコーダモデルを用いて複数の関連例を取得し、少数の例に基づくファインチューニングによりシーケンス・トゥ・アクションパーサーを最適化することで、CONCODEおよびCSQAデータセットにおいて最先端の性能を達成し、リトリーブ・アンド・エディットベースラインを上回る。

ABSTRACT

In this paper, we present an approach to incorporate retrieved datapoints as supporting evidence for context-dependent semantic parsing, such as generating source code conditioned on the class environment. Our approach naturally combines a retrieval model and a meta-learner, where the former learns to find similar datapoints from the training data, and the latter considers retrieved datapoints as a pseudo task for fast adaptation. Specifically, our retriever is a context-aware encoder-decoder model with a latent variable which takes context environment into consideration, and our meta-learner learns to utilize retrieved datapoints in a model-agnostic meta-learning paradigm for fast adaptation. We conduct experiments on CONCODE and CSQA datasets, where the context refers to class environment in JAVA codes and conversational history, respectively. We use sequence-to-action model as the base semantic parser, which performs the state-of-the-art accuracy on both datasets. Results show that both the context-aware retriever and the meta-learning strategy improve accuracy, and our approach performs better than retrieve-and-edit baselines.

研究の動機と目的

• クラス環境や会話履歴といった多様な文脈にわたる一般化において性能が低下する文脈に依存する意味解析の課題に対処すること。
• 単一の例に依存し、文脈に無関係なリトリーブに依存する既存のリトリーブ・アンド・エディット手法の限界を克服すること。
• メタラーニングフレームワーク内で複数のリトリーブされた例をサポートセットとして活用することで、新しい文脈への迅速な適応を可能にすること。
• 文脈に配慮したリトリーバーとメタラーナーを同時に学習させることで、意味解析における一般化性能とロバスト性を向上させること。

提案手法

• 文脈に配慮したエンコーダ・デコーダモデルをリトリーバーとして用い、自然言語入力と文脈環境を共通の潜在空間に符号化する。
• リトリーバーは潜在変数を用いて不確実性をモデル化し、入力発話とクラス変数やメソッドといった文脈的情報との間の複雑な依存関係を捉える。
• リトリーブされた例は、モデルに依存しないメタラーニング（MAML）フレームワーク内での擬似タスクのサポートセットとして扱われ、ベースパーサーの迅速な適応が可能になる。
• ベースとなる意味パーサーはシーケンス・トゥ・アクションモデルであり、アクションのシーケンスを予測することで文法的に正しい論理形式を生成する。
• メタラーナーは、リトリーブされた例に基づいて勾配ベースのファインチューニングによりパーサーのパラメータを更新することで、少サンプル適応を実現する。
• システム全体はエンド・ツー・エンドで訓練され、リトリーバーとメタラーナーが共同最適化され、下流の意味解析の正確性が向上する。

実験結果

リサーチクエスチョン

• RQ1 文脈に依存する意味解析タスクにおいて、文脈に配慮したリトリーバーは文脈に無関係なベースラインと比較してリトリーブ品質を向上させることができるか？
• RQ2 メタラーニングを用いて複数のリトリーブされた例を活用することで、単一のリトリーブ例に依存する場合と比較して一般化性能が向上するか？
• RQ3 リトリーブとメタラーニングを組み合わせた本手法は、既存のリトリーブ・アンド・エディットアプローチと比較して正確性とロバスト性において優れているか？
• RQ4 文脈に配慮したリトリーバーとメタラーニングコンponentが、全体の性能向上にそれぞれどの程度寄与しているか？

主な発見

• 提案手法は、CONCODEおよびCSQAの両データセットで最先端の性能を達成し、既存のリトリーブ・アンド・エディットベースラインを上回った。
• 文脈に配慮したリトリーバーは、文脈に無関係なベースラインと比較して、CONCODEにおけるF1スコアで4.2%の向上を達成した。
• メタラーニングコンponentは性能向上に大きく寄与しており、複数のリトリーブ例をサポートセットとして使用した場合、3.8%の絶対的スコア上昇が得られた。
• アブレーションスタディの結果、文脈に配慮したリトリーバーとメタラーニング戦略の両方が不可欠であることが示された。両者を削除すると性能が著しく低下した。
• 誤差解析の結果、44%の失敗はクラスメンバの誤ったコピーに起因しており、メソッド定義を組み込むことでさらなる性能向上が期待できることが示唆された。
• 本手法は未学習の文脈に対しても良好に一般化され、リソースが限られた環境下でも強力な少サンプル適応能力を示した。