[論文レビュー] Dear Sir or Madam, May I introduce the GYAFC Dataset: Corpus, Benchmarks and Metrics for Formality Style Transfer

Sudha Rao, Joel Tetreault|arXiv (Cornell University)|Mar 17, 2018

Natural Language Processing Techniques参考文献 30被引用数 20

ひとこと要約

本稿では、110,000件の非形式的〜形式的文対を含む、形式的スタイル変換のための最大規模の平行コーパスであるGYAFCデータセットを紹介する。文脈ベースおよびニューラル機械翻訳モデルを用いて強力なベースラインを確立し、人的判断と比較して自動評価指標の顕著な限界を明らかにした。

ABSTRACT

Style transfer is the task of automatically transforming a piece of text in one particular style into another. A major barrier to progress in this field has been a lack of training and evaluation datasets, as well as benchmarks and automatic metrics. In this work, we create the largest corpus for a particular stylistic transfer (formality) and show that techniques from the machine translation community can serve as strong baselines for future work. We also discuss challenges of using automatic metrics.

研究の動機と目的

• 形式的スタイル変換のための大規模かつ高品質な平行コーパスの不足に応えること。
• 非形式的から形式的へのスタイル変換タスクにおいて、既存の機械翻訳技術を用いて強力なベースラインを確立すること。
• 自動評価指標（機械翻訳およびパラフレーズ評価指標を含む）の有効性を人的判断と比較して評価すること。
• 特に形式的から非形式的への逆方向におけるスタイル変換の評価における課題を調査すること。
• 研究の加速を目的として、公開可能で再現可能なリソースを提供すること。

提案手法

• Yahoo Answersから収集した110,000件の非形式的〜形式的文対を用いてGYAFCデータセットを構築し、人的に検証された形式的再書き換えを実施。
• 文脈ベース機械翻訳（PBMT）およびニューラル機械翻訳（NMT）モデルをスタイル変換のベースラインとして適応。
• 滑らかさおよび形式的転送の向上を目的として、コピーメカニズムを備えたNMTバージョンおよび統合デコード戦略を実装。
• BLEU、TERp、PINC、および形式的・滑らかさ・意味保持スコアを含む自動評価指標を用いてモデル出力を評価。
• エンターテインメント＆ミュージックおよび家族・関係性の2つのドメインにおいて、モデル出力の形式的・滑らかさ・意味保持性について人的評価を実施。
• 自動評価指標と人的判断との相関分析を通じて、指標の信頼性を評価。

実験結果

リサーチクエスチョン

• RQ1 既存の機械翻訳モデルは、形式的スタイル変換のベースラインとしてどれほど有効であるか？
• RQ2 自動評価指標は、形式的スタイル変換の評価において人的判断とどの程度相関しているか？
• RQ3 なぜ自動評価指標の性能は、非形式的から形式的への方向と比較して、形式的から非形式的への方向で劣化するのか？
• RQ4 ルールベース手法は、形式的から非形式的へのスタイル変換方向で、学習モデルを上回る性能を示す可能性があるか？
• RQ5 非形式的言語の再書き換えに著しいばらつきが生じる場合、スタイル変換の評価における主な課題は何か？

主な発見

• GYAFCデータセットには、110,000件の高品質な非形式的〜形式的文対が含まれており、形式的スタイル変換のための最大規模の公開コーパスである。
• 文脈ベースおよびニューラル機械翻訳モデルは強力なベースラインを提供し、非形式的から形式的への方向ではNMTモデルがPBMTを上回る性能を示した。
• 人的判断による形式的・滑らかさ・意味保持性の観点から、ルールベースモデルはすべての学習モデルを形式的から非形式的への方向で上回った。
• BLEU、TERp、PINCなどの自動評価指標は人的判断と相関が低く、特に形式的から非形式的への方向で信頼性が低いことが示された。
• 形式的分類器は非形式的出力に対して人的判断とより良好に相関しており、モデルの性能が非形式的から形式的への変換では予測可能であるが、逆はそうではないことを示唆している。
• 本研究では、非形式的再書き換えの著しいばらつきが、形式的から非形式的へのスタイル変換において参照ベース評価指標が不適切であることを明らかにした。これは、評価における主要な課題を示している。