[論文レビュー] Crowd-sourcing NLG Data: Pictures Elicit Better Data

Jekaterina Novikova, Oliver Lemon+1 more|arXiv (Cornell University)|Aug 1, 2016

Speech and dialogue systems参考文献 17被引用数 10

ひとこと要約

本稿では、従来のテキストベースの論理的MR（意味表現）の代わりに図式的意味表現（MR）を用いることで、高品質な自然言語生成（NLG）の学習データを収集するための画期的なクラウドソーシングフレームワークを提案する。図式的MRは、特にMRの複雑さが増すにつれて、より自然で情報量が多く、適切に構成された発話文を誘発することが示された。6段階評価スケールにおいて、品質評価平均が0.55ポイント上昇した（図式的MR：4.53、論理的MR：3.98）。

ABSTRACT

Recent advances in corpus-based Natural Language Generation (NLG) hold the promise of being easily portable across domains, but require costly training data, consisting of meaning representations (MRs) paired with Natural Language (NL) utterances. In this work, we propose a novel framework for crowdsourcing high quality NLG training data, using automatic quality control measures and evaluating different MRs with which to elicit data. We show that pictorial MRs result in better NL data being collected than logic-based MRs: utterances elicited by pictorial MRs are judged as significantly more natural, more informative, and better phrased, with a significant increase in average quality ratings (around 0.5 points on a 6-point scale), compared to using the logical MRs. As the MR becomes more complex, the benefits of pictorial stimuli increase. The collected data will be released as part of this submission.

研究の動機と目的

• 最小限の手作業で済ませられる、スケーラブルで自動化されたフレームワークを用いて、高品質なNLG学習データをクラウドソーシングで収集すること。
• 自動的および手動による検証手順を用いて、クラウドソーシングされたNLGコーパスにおけるデータ品質を保証する課題に対処すること。
• 図式的MRが従来のテキストベースの論理的MRと比較して、より自然で情報量が多く、適切に構成された発話文を誘発するかどうかを調査すること。
• 意味表現のモodal（図式的 vs. テキスト的）が、意味的複雑度の異なる状況下で、クラウドソーシングされたNLGデータの品質および多様性に与える影響を評価すること。
• 信頼性が高く、高品質で公開済みの学習データを提供することで、迅速かつドメイン適合可能なNLGシステム開発を可能にすること。

提案手法

• クラウドソーシングのための発話文生成タスクを実施するため、CrowdFlowerプラットフォームを用いてクラウドワーカーを募集した。
• 語彙の先行効果を避けるために、3、5、または8つの属性を持つバランスの取れた75個のMRをランダムに順序付けした。
• 属性（例：ファミリー向け、価格帯）を視覚的アイコンや記号にマッピングすることで、論理的MRと意味的に同等となる図式的MRを作成した。
• 低品質またはトピックから逸脱した提出物をフィルタリングするために、意味的類似度メトリクス（例：BLEU、BERTScore）を用いた自動検証を実装した。
• 3つの品質次元（情報量、自然さ、表現の質）について、6段階リッカートスケールを用いた独立した人間評価を実施した。
• 図式的MRとテキスト的MRの条件間での品質評価を比較するために、統計的分析（ピアソン相関、t検定）を実施した。

実験結果

リサーチクエスチョン

• RQ1 図式的意味表現を用いることで、従来のテキストベースの論理的MRと比較して、より高品質なNLGデータが得られるか？
• RQ2 意味表現の複雑さ（3、5、または8つの属性）が、クラウドソーシングされた発話文の品質に与える影響は何か？
• RQ3 図式的MRは、語彙の先行効果をどれほど軽減し、クラウドソーシングされた発話文における言語的多様性をどれほど向上させるか？
• RQ4 自動検証手順は、人為的介入なしに低品質な提出物を効果的にフィルタリングできるか？
• RQ5 人間評価における自然さと表現の質の間には、有意の相関関係があるか？

主な発見

• 図式的MRは、6段階評価スケールにおいて、平均品質評価を0.55ポイント上昇させた（図式的MR：4.53、テキスト的MR：3.98）、統計的に有意な改善が得られた。
• 情報量の向上は、8つの属性を持つ複雑なMRにおいて最も顕著であり、図式的MRでは平均4.98、テキスト的MRでは4.52の評価を得た。
• 自然さの評価は0.34ポイント（4.09 → 4.43）上昇し、表現の質は0.39ポイント（4.01 → 4.40）上昇した。両者ともp < 0.001の有意水準であった。
• 自然さと表現の質の間には強い相関（r = 0.84、p < 0.001）が確認され、評価者はこれら2つの品質要因を密接に関連しているが、独立した要因として認識していることが示唆された。
• 自動検証手順は、低品質な提出物の100％を効果的に除外した。データフィルタリングにおける高い信頼性が裏付けられた。
• 誤差分析の結果、図式的MRは、テキスト的MRが引き起こす機械的で形式的な表現に比べ、より自発的で多様で自然な言語表現を生み出すことが分かった。例として、'family-friendly'を'good for kids'に置き換えるような表現が観察された。