[論文レビュー] Jointly Learning Semantic Parser and Natural Language Generator via Dual Information Maximization

Hai Ye, Wenjie Li+1 more|arXiv (Cornell University)|Jun 3, 2019

Topic Modeling参考文献 48被引用数 4

ひとこと要約

本稿では、意味表現と自然言語の間の相互情報量を最大化するために変分下界を用い、意味解析器と自然言語生成器の双対性を活用して、同時に学習するためのデュアル・インフォーメーション・マクシマイゼーション（DIM）を提案する。対話管理およびコード生成のデータセットにおける実験では、教師ありおよび半教師ありの両設定下で、両タスクにおいて一貫した性能向上が得られた。

ABSTRACT

Semantic parsing aims to transform natural language (NL) utterances into formal meaning representations (MRs), whereas an NL generator achieves the reverse: producing a NL description for some given MRs. Despite this intrinsic connection, the two tasks are often studied separately in prior work. In this paper, we model the duality of these two tasks via a joint learning framework, and demonstrate its effectiveness of boosting the performance on both tasks. Concretely, we propose a novel method of dual information maximization (DIM) to regularize the learning process, where DIM empirically maximizes the variational lower bounds of expected joint distributions of NL and MRs. We further extend DIM to a semi-supervision setup (SemiDIM), which leverages unlabeled data of both tasks. Experiments on three datasets of dialogue management and code generation (and summarization) show that performance on both semantic parsing and NL generation can be consistently improved by DIM, in both supervised and semi-supervised setups.

研究の動機と目的

• 意味解析と自然言語生成の間には本質的な双対性があるものの、それらの統合的モデリングの欠如に取り組む。
• 統一された学習フレームワークを通じて、両者の補完的性質を活用して、両タスクの性能を向上させる。
• 自然言語と意味表現の間のデュアル情報を取り込む正則化手法を開発する。
• 両タスクからの未ラベル付きデータを活用して、教師ありフレームワークを半教師あり設定に拡張する。
• 対話管理およびコード生成の実世界データセットにおいて、統合学習の有効性を示す。

提案手法

• 自然言語（x）と意味表現（y）の同時分布をモデル化し、未知の真の分布 P(x,y) を近似する。
• 意味解析器 pθ(y|x) と生成器 qϕ(x|y) の両方の期待同時分布の変分下界を最適化するためのデュアル・インフォーマーション・マクシマイゼーション（DIM）を提案する。
• BarberとAgakov（2003）およびZhangら（2018）にインspiredされた変分近似を用い、2つのモデル間のデュアル情報を最大化する。
• 意味解析と自然言語生成の両タスクにおける教師あり目的関数に加えて、DIMを正則化項として統合する。
• 両タスクからの未ラベル付きデータを活用するため、DIMを半教師あり学習用に拡張したSemiDIMを提案する。
• 未ラベル付きデータの部分には、REINFORCEに基づく方策勾配を用いた確率的勾配降下法で、結合目的関数を最適化する。

実験結果

リサーチクエスチョン

• RQ1 意味解析と自然言語生成の統合学習は、それらを独立に学習する場合と比較して、両タスクの性能を向上させることができるか？
• RQ2 デュアル・インフォーマーション・マクシマイゼーション（DIM）は、解析と生成の間の構造的双対性を効果的に捉えられるか？
• RQ3 SemiDIMを用いて未ラベル付きデータを活用することで、リソースが限られた状況での性能向上がさらに達成されるか？
• RQ4 統合学習フレームワークにおいて、教師あり信号と未教師あり信号の最適なトレードオフは何か？
• RQ5 異なるハイパーパramータ設定下で、解析器と生成器の性能向上がどの程度相関しているか？

主な発見

• DIMは、ATIS、Django、CoNaLaの3つのデータセットにおいて、意味解析と自然言語生成の両タスクで一貫した性能向上を達成した。
• SemiDIMによる半教師あり学習は、特にリソースが限られた状況で顕著な性能向上を達成し、両タスクからの未ラベル付きデータを有効に活用した。
• ハイパーパramータ λ（デュアル情報と未教師あり損失の間のトレードオフを制御）が 0.1～1.0 の範囲にあるときに最適な性能が得られた。
• λ = 0 の場合に性能の低下が観察されたため、未教師あり信号が強固な統合学習に不可欠であることが示された。
• 解析器と生成器の性能の間に高いピアソン相関（r > 0.8）が観察されたため、統合フレームワーク内での強い相互適応が示唆された。
• 独立に訓練された強力なベースラインと比較して、統合モデルは両タスクで優れた性能を示し、デュアル学習の利点を実証した。