[論文レビュー] A task in a suit and a tie: paraphrase generation with semantic augmentation

Wang Su, Rahul Gupta+2 more|arXiv (Cornell University)|Oct 31, 2018

Natural Language Processing Techniques被引用数 12

ひとこと要約

本稿では、マルチエンコーダー・アーキテクチャを用いてPropBankフレームラベルを統合することで、TransformerおよびLSTMの両方を向上させる意味的拡張型の仮説生成モデルを提案する。MSCOCOおよびWikiAnswersにおいて、BLEU、METEOR、TERで2–3ポイントの向上を達成し、人的評価でも顕著な改善が見られたが、ドメイン外のテキストへの一般化性は依然として限定的である。

ABSTRACT

Paraphrasing is rooted in semantics. We show the effectiveness of transformers (Vaswani et al. 2017) for paraphrase generation and further improvements by incorporating PropBank labels via a multi-encoder. Evaluating on MSCOCO and WikiAnswers, we find that transformers are fast and effective, and that semantic augmentation for both transformers and LSTMs leads to sizable 2-3 point gains in BLEU, METEOR and TER. More importantly, we find surprisingly large gains on human evaluations compared to previous models. Nevertheless, manual inspection of generated paraphrases reveals ample room for improvement: even our best model produces human-acceptable paraphrases for only 28% of captions from the CHIA dataset (Sharma et al. 2018), and it fails spectacularly on sentences from Wikipedia. Overall, these results point to the potential for incorporating semantics in the task while highlighting the need for stronger evaluation.

研究の動機と目的

• ニューラルシーケンス・モデルに構造化された意味的知識を統合することで、仮説生成の品質を向上させること。
• PropBankラベルによる意味的拡張が、TransformerおよびLSTMベースのモデルの両方の性能向上に寄与するかどうかを調査すること。
• 仮説生成品質評価における自動指標（BLEU、METEOR、TER）と人的判断の乖離を評価すること。
• 特にWikipediaおよびCHIAデータセットを含むドメイン外データにおけるモデルの一般化能力を評価すること。
• 自動指標の限界と、仮説生成におけるより洗練された評価の必要性を明らかにすること。

提案手法

• 入力文とその対応するPropBankフレームラベルを処理するマルチエンコーダー・アーキテクチャを備えた事前学習済みTransformerまたはLSTMモデルを微調整する。
• SLING（ニューラル意味的パーサー）を用いて入力文からPropBankフレームと役割を抽出し、連続ベクトルとして表現する。
• エンコードされた入力文とその意味的フレーム表現を連結するか、アテンションを用いて統合的な文脈表現を生成する。
• MSCOCOおよびWikiAnswersのペaired仮説データを用いて、シーケンス・トゥ・シーケンスの目的関数に従ってモデルをエンド・ツー・エンドで学習する。
• 比較分析のため、TransformerおよびLSTMアーキテクチャの両方に対して同じ意味的拡張戦略を適用する。
• 人的評価を3つのタスクで実施：ドメイン内仮説品質、ペアベースの仮説一貫性、画像ベースのキャプション受容可能性を評価し、自動指標を超えたモデル挙動を分析する。

実験結果

リサーチクエスチョン

• RQ1 マルチエンコーダーを介してPropBankフレームラベルを統合することで、TransformerおよびLSTMの両方における仮説生成性能が向上するか？
• RQ2 このタスクにおいて、BLEU や METEOR などの自動指標と、人的判断による仮説品質評価の相関関係はいかほどか？
• RQ3 意味的拡張モデルは、Wikipedia文などのドメイン外入力に対してどの程度一般化するか？
• RQ4 類似した自動スコアを示すモデルでも、人的受容性評価で顕著な差が生じる理由は何か？
• RQ5 意味的構造は、仮説生成における一般化性能の向上と幻覚の低減に、どのように寄与するか？

主な発見

• 提案された意味的拡張モデルは、ベースラインモデルと比較して、MSCOCOおよびWikiAnswersの両方でBLEU、METEOR、TERで2–3ポイントの向上を達成した。
• BLEUスコアが類似しているにもかかわらず、PropBank拡張を施したTransformerモデル（45.6％の受容性）は、LSTMモデル（36.4％）を著しく上回る人的評価スコアを示した。
• CHIAデータセットでは、意味的拡張モデル（transformer-pb）の人的受容性は28.0％であったが、ベースラインTransformerは18.0％にとどまり、どちらもゴールCHIA基準（78.2％）には遠い。
• Wikipediaデータでは、モデルが深刻な幻覚を示し、関連のない入力に対しても「スーツを着た男性とネクタイ」といった無関係なフレーズを頻繁に生成した。
• 人的評価から、自動指標と人的認識の間には顕著な不一致が確認され、BLEUなどの指標が最終的なモデル比較には不十分であることが示された。
• 本研究は、意味的拡張がモデルの性能と一貫性を向上させることを示したが、ドメイン外および複雑な入力における一般化性と耐障害性の向上の余地は依然として大きい。