[論文レビュー] Split and Rephrase

Shashi Narayan, Claire Gardent+2 more|arXiv (Cornell University)|Jul 21, 2017

Text Readability and Simplification被引用数 8

ひとこと要約

本稿では、削除や語彙の簡略化を伴わずに意味を保ったまま複雑な文を短い文に分割する新しい文簡略化手法「Split-and-Rephrase」タスクを紹介する。著者らは107万件の文ペアを含むWebSplitベンチマークを構築し、生成の前に意味を分解する能力を効果的に活用するpartition-and-generateモデルが、標準的なsequence-to-sequenceモデルやmulti-sourceモデルを上回ることを示した。

ABSTRACT

We propose a new sentence simplification task (Split-and-Rephrase) where the aim is to split a complex sentence into a meaning preserving sequence of shorter sentences. Like sentence simplification, splitting-and-rephrasing has the potential of benefiting both natural language processing and societal applications. Because shorter sentences are generally better processed by NLP systems, it could be used as a preprocessing step which facilitates and improves the performance of parsers, semantic role labellers and machine translation systems. It should also be of use for people with reading disabilities because it allows the conversion of longer sentences into shorter ones. This paper makes two contributions towards this new task. First, we create and make available a benchmark consisting of 1,066,115 tuples mapping a single complex sentence to a sequence of sentences expressing the same meaning. Second, we propose five models (vanilla sequence-to-sequence to semantically-motivated models) to understand the difficulty of the proposed task.

研究の動機と目的

• 読書に困難を抱える読者やNLPシステムのパフォーマンス向上を目的とした、削除や語彙の簡略化を伴わない文簡略化のニーズに対応すること。
• 構文的再表現を通じて複雑な文を意味を保ったまま短い文に分割することに焦点を当てた、新しいタスク「Split-and-Rephrase」の開発。
• Split-and-Rephraseモデルの学習と評価を支援する大規模で意味的にアノテートされたベンチマーク（WebSplit）の作成。
• このタスクに求められる意味の分解と再表現を処理するための異なるニューラルアーキテクチャの有効性の調査。

提案手法

• WebNLGコーパスからWebSplitデータセットを構築し、話題の表記構造（DRS）とRDF三元組を用いて、複雑な文を意味的に同等の短い文の列にマッピングする。
• 5つのモデルを設計：vanilla sequence-to-sequenceモデル、DRSを用いたハイブリッドSMTモデル、文とRDF入力を両方使用するmulti-sourceエンコーダーデコーダーモデル、および生成の前に意味表現（RDF三元組）を一貫性のある部分に分割するpartition-and-generateモデル。
• partition-and-generateモデルでは、まず意味表現（RDF三元組）を意味的に整合性のある部分に分割し、その後各文を独立して生成する。
• 意味の保存を促進する再表現と分割をガイドするため、表面レベルのテキストと意味表現の両方を用いてモデルを学習する。
• 出力の流暢さと分割の有効性を評価するため、BLEUスコアと文長の指標を用い、意味の保存性を評価するため人間による評価を実施。
• 複雑な文からDRS表現を生成するためにBoxerを活用し、モデル入力における意味的根拠を明確にする。

実験結果

リサーチクエスチョン

• RQ1 削除や語彙の簡略化を伴わず、再構成と分割に焦点を当てた文簡略化タスクは、NLPシステムのパフォーマンス向上と読書に困難を抱える読者のアクセシビリティ向上に寄与できるか？
• RQ2 特に意味の分解を行うアーキテクチャは、標準的なsequence-to-sequenceモデルと比較して、Split-and-Rephraseタスクにおいてどれほど有効であるか？
• RQ3 意味表現（例：DRSやRDF三元組）を組み込むことで、生成された文の系列の質と意味の保存性はどの程度向上するか？
• RQ4 生成の前に意味的入力を分割することは、エンドツーエンドの生成よりも優れた分割と再表現をもたらすか？
• RQ5 機械翻訳などの他のNLPタスクで成功を収めたにもかかわらず、この設定ではなぜmulti-sourceモデルが性能を発揮しないのか？

主な発見

• partition-and-generateモデルは他のすべてのモデルを顕著に上回り、意味の保存性と効果的な文分割の両立において最良のバランスを達成した。
• BLEUスコアだけではSplit-and-Rephraseの評価は不十分であり、平均文長が長い単一文出力でも高いスコアが得られ、分割性能の悪さが隠れてしまうことがある。
• vanilla sequence-to-sequenceモデルとmulti-sourceモデルは、特に長い入力に対して、しばしば幻覚的または意味を保存しない内容を生成する傾向がある。
• DRSを用いたハイブリッドSMTモデルは、複雑な固有語の意味解析エラーのため、著しく性能が低かった。
• より多くの入力情報を使用しているにもかかわらずmulti-sourceモデルは性能を発揮しなかった。これは、テキストと意味表現の間で分布の不一致があるか、あるいは訓練データが限られていることが原因である可能性がある。
• 2つのpartition-and-generateモデルは、複雑な文を正しく再表現・分割しており（例：関係節を主節に変換）、流暢で意味的に正確な出力を生成した。