[論文レビュー] Latent-Optimized Adversarial Neural Transfer for Sarcasm Detection

Xu Guo, Boyang Li+2 more|arXiv (Cornell University)|Apr 19, 2021

Sentiment Analysis and Opinion Mining参考文献 49被引用数 6

ひとこと要約

本稿では、潜在空間における1ステップ先読みによるドメイン固有損失と adversarial 損失の相互適合を可能にすることで、学習ダイナミクスを向上させる、クロスドメインの皮肉検出のための新規手法 Latent-Optimized Adversarial Neural Transfer (LOANT) を提案する。LOANT は iSarcasm データセットにおいて F スコア 46.41% の新たな SOTA を達成し、前回 SOTA に対して 10.02% の絶対的向上を示した。

ABSTRACT

The existence of multiple datasets for sarcasm detection prompts us to apply transfer learning to exploit their commonality. The adversarial neural transfer (ANT) framework utilizes multiple loss terms that encourage the source-domain and the target-domain feature distributions to be similar while optimizing for domain-specific performance. However, these objectives may be in conflict, which can lead to optimization difficulties and sometimes diminished transfer. We propose a generalized latent optimization strategy that allows different losses to accommodate each other and improves training dynamics. The proposed method outperforms transfer learning and meta-learning baselines. In particular, we achieve 10.02% absolute performance gain over the previous state of the art on the iSarcasm dataset.

研究の動機と目的

• 複数のデータセットを活用したトランスファー学習によって、限られた小規模な皮肉データセットの課題に対処すること。
• adversarial neural transfer (ANT) におけるドメイン固有損失と adversarial 損失の最適化的矛盾を解消すること。
• 潜在最適化戦略の導入により、クロスドメイン皮肉検出における学習ダイナミクスと性能を向上させること。
• iSarcasm や SemEval-18 のようなベンチマークデータセットにおける皮肉検出の新たな SOTA を確立すること。

提案手法

• 潜在空間における1ステップ先読みを用いた確率的勾配降下法を実行する、潜在最適化された adversarial neural transfer (LOANT) フレームワークを提案する。
• ドメイン固有損失が負のドメイン識別損失をうまく適合させることを可能にする潜在最適化戦略を導入し、学習安定性を向上させる。
• ソースドメインとターゲットドメイン間の共有特徴分布を整えるためにドメイン識別器を用い、同時にドメイン固有の性能を保持する。
• adversarial 学習を組み合わせたマルチタスク学習設定を採用し、モデルがドメイン固有分類とドメイン不変特徴学習の両方を同時に最適化する。
• モデルに依存しないメタ学習 (MAML) にインspired された1ステップ先読みメカニズムを提案するが、パrameter 空間ではなく潜在空間で動作する。
• 文脈に依存する文の表現のための BERT ベースエンコーダーを用い、提案された最適化戦略に従って、全体のアーキテクチャをエンドツーエンドで微調整する。

実験結果

リサーチクエスチョン

• RQ1 大規模でノイズの多い皮肉データセットから、小規模で人手でアノテートされたデータセットへ、adversarial neural transfer が知識を効果的に転送できるか。
• RQ2 特にドメイン固有性能とドメイン不変特徴学習という対立する目的を、最適化と性能の両面でどのように調和させられるか。
• RQ3 潜在空間における1ステップ先読みは、標準的な adversarial 学習やメタ学習手法と比較して、より良い学習ダイナミクスと転送性能をもたらすか。
• RQ4 ユニグラム分布の KL 発散で測定されるドメインの乖離度が、提案手法の性能向上に与える影響は何か。

主な発見

• LOANT は iSarcasm データセットにおいて F スコア 46.41% の新たな SOTA を達成し、前回 SOTA に対して 10.02% の絶対的向上を示した。
• 4つのトランスファー学習設定の平均で、LOANT は従来の adversarial neural transfer (ANT) より F スコアを 3.42% 向上させた。
• LOANT は MAML ベースのベースラインより平均で F スコア 4.83% 向上させ、パラメータ空間最適化よりも潜在空間最適化の優位性を示した。
• 最大の性能向上 7.85% は Ptáček → iSarcasm のトランスファーで観測され、この場合ドメイン乖離が最小であった。これは LO がドメインが類似している場合に最も効果的であることを示している。
• 潜在最適化は計算コストを削減する：ANT+MAML は実行時間を 3.1 倍、メモリ使用量をほぼ 2 倍に増加するが、LOANT は ANT にほとんど追加コストを要しない。
• KL 発散解析により、LO の性能向上がソースドメインとターゲットドメインが類似している場合に顕著であることが確認され、本手法のドメイン乖離への感受性が裏付けられた。