[論文レビュー] From Solving a Problem Boldly to Cutting the Gordian Knot: Idiomatic Text Generation

Jianing Zhou, Hongyu Gong+2 more|arXiv (Cornell University)|Apr 13, 2021

Natural Language Processing Techniques参考文献 39被引用数 8

ひとこと要約

本稿では、意味的マッチングされた熟語を事前構築された語彙から検索し、対応する部分表現を抽出し、その後ガイド付きテキスト生成を行う3段階パイプラインを用いて、直訳文を熟語的表現に変換する、新しいタスク「熟語的テキスト生成」を紹介する。提案されたGuided CopyNetモデルは、自動評価および人的評価の両方で強力なベースラインを上回り、新規に作成された876組の直訳-熟語対応文のデータセットにおいて、優れた性能と解釈可能性を示している。

ABSTRACT

We study a new application for text generation -- idiomatic sentence generation -- which aims to transfer literal phrases in sentences into their idiomatic counterparts. Inspired by psycholinguistic theories of idiom use in one's native language, we propose a novel approach for this task, which retrieves the appropriate idiom for a given literal sentence, extracts the span of the sentence to be replaced by the idiom, and generates the idiomatic sentence by using a neural model to combine the retrieved idiom and the remainder of the sentence. Experiments on a novel dataset created for this task show that our model is able to effectively transfer literal sentences into idiomatic ones. Furthermore, automatic and human evaluations show that for this task, the proposed model outperforms a series of competitive baseline models for text generation.

研究の動機と目的

• 自然言語生成分野における熟語的表現の自動生成に関する研究の不足に対処すること。
• 元の意味や文脈を保ちつつ、直訳文を熟語的表現に変換する手法を開発すること。
• 学習および評価用に、876組の直訳-熟語対応文の並列データセットを構築すること。
• 熟語的書き換えに際して、パイプライン型モデルとエンドツーエンドニューラル生成モデルの有効性を評価すること。
• モジュラーかつ認知科学にインspiredされた設計を用いて、テキスト生成モデルの解釈可能性と性能を向上させること。

提案手法

• 3段階のパイプライン：(1) 直訳フレーズと熟語の定義の間の意味的類似度を用いて、検索モデルで語彙から意味的に一致する熟語を取得；(2) 部分表現抽出モデルで、熟語に置き換えるべき直訳文内の正確な部分文字列（スパン）を特定；(3) Guided CopyNetモデルで最終的な熟語的表現を生成。
• Guided CopyNetモデルは、部分表現抽出モジュールの出力を明示的にガイドとして用いることで、文脈の正確なコピーと適切な活用形への熟語挿入を向上させる。
• 検索モデルは、直訳フレーズと熟語の定義の間の意味的類似度を用いて候補熟語を選択する。
• 部分表現抽出モデルは、熟語に置き換えるべき直訳文内の正確な部分文字列（スパン）を同定する。
• 生成モデルは、取得した熟語と残りの文脈を統合し、必要に応じて活用形の調整を加える。
• システムは、熟語の語彙に登録済みのもののみを用いるものとし、信頼性と解釈可能性を確保する。

実験結果

リサーチクエスチョン

• RQ1 検索、部分表現抽出、生成の組み合わせからなるパイプライン手法が、エンドツーエンドテキスト生成モデルを上回る性能を発揮できるか？
• RQ2 心的語彙の使用に基づく認知科学的インスピレーションを受けるモジュラー設計は、熟語的表現生成にどの程度有効か？
• RQ3 検索モジュールと抽出モジュールは、直接的なシーケンス・トゥ・シーケンス学習と比較して、生成モデルの性能をどの程度向上させるか？
• RQ4 複数の熟語が類似した意味を持つ場合でも、本モデルは熟語の非構成的意味を適切に処理できるか？
• RQ5 文脈的情報は、直訳文から熟語への変換における熟語選択とスパンアラインメントにどのような影響を及ぼすか？

主な発見

• 提案されたパイプラインモデルは、熟語的テキスト生成において、自動評価および人的評価の両方で競合ベースラインを著しく上回った。
• Guided CopyNetモデルは、部分表現抽出の予測結果を明示的に活用することで、標準的なCopyNetよりも優れた性能を達成した。
• 検索モジュールは、非構成的意味のため、意味的に類似しているが誤った熟語を検索することが稀にある。例として、「get one’s goat」の代わりに「wind up」を検索する。
• 検索エラーが発生しても、抽出されたスパンが正しく熟語に置き換えられ、必要に応じて活用形の調整がなされるため、生成段階においても高い耐性を示した。
• ベースラインモデルは、入力を直訳的にコピーする傾向にあり、直訳フレーズを熟語に置き換える能力に欠けることが示された。これは、直訳から熟語へのマッピングを学習することが困難であることを示している。
• 876組の並列直訳-熟語文のデータセットは、信頼性のある評価を可能にし、本研究で提案されたタスクの実現可能性を示している。