[論文レビュー] Diversity Enhanced Table-to-Text Generation via Type Control

Yotam Perlitz, Liat Ein-Dot+3 more|arXiv (Cornell University)|May 22, 2022

Natural Language Processing Techniques被引用数 5

ひとこと要約

本稿では、論理的タイプ（LT）制御を用いて、高品質で事実的かつ多様な自然言語文を表データから生成する、多様性を高めたテーブルtoテキスト生成手法DevTCを提案する。異なるLT（集計、比較、数え上げなど）に条件付けられることで、1つの入力テーブルに対して複数の明確に異なる高品質な出力を生成する。確率的デコーディングに依存せず、事実性と多様性のトレードオフを凌駕する強力なベースラインを上回る。

ABSTRACT

Generating natural language statements to convey logical inferences from tabular data (i.e., Logical NLG) is a process with one input and a variety of valid outputs. This characteristic underscores the need for a method to produce a diverse set of valid outputs, presenting different perspectives of the input data. We propose a simple yet effective diversity-enhancing scheme that builds upon an inherent property of the statements, their logic-types, by using a type-controlled table-to-text generation model. We demonstrate, through extensive automatic and human evaluations over the two publicly available Logical NLG datasets, that our proposed method both facilitates the ability to effectively control the generated statement type, and produces results superior to the strongest baselines in terms of quality and factuality-diversity trade-off.

研究の動機と目的

• 既存のテーブルtoテキスト（T2T）生成モデルに見られる多様性の欠如と制御の不足に取り組むこと。これらはしばしば重複した低品質な出力を生じがちである。
• 1つの入力テーブルから、複数の明確に異なる、事実的である文を生成可能にする。これは、異なる論理的視点を反映する。
• 確率的デコーディングを排除し、構造的な論理的タイプ（LT）条件付けを用いることで、事実性と多様性のトレードオフを改善する。
• 論理的タイプ制御がT2T生成における品質と制御性を向上させることを示す。
• 論理的タイプのアノテーションが欠落している場合でも、モデルが頑健に機能し、自動評価および人的評価の両方でベースラインを上回ることを示す。

提案手法

• 論理的タイプ（LT）制御付きT2T生成モデルを導入。7つの事前に定義されたLT（数え上げ、比較、最上位、一意、順序、集計、大多数）のいずれかに条件付けられた文を生成するように訓練する。
• BERTベースの分類器を、Logic2Textの8.5K個の（文、LT）ペアで微調整し、訓練データに自動的にLTをアノテートする。テストデータで97%のマクロF1を達成する。
• 推論時、7つのタイプから均等にサンプリングされた5つの異なるLTに条件付け、5つの文の多様なセットを生成する。確率的デコーディングに依存せず、制御された多様性を実現する。
• 事前学習済みT2T生成器（例：GPT-TabGen）を活用し、テーブルと望ましいLTの両方に条件付けたシーケンスtoシーケンスフレームワークを用いる。LT埋め込みを入力として使用する。
• LT予測と生成を分離することで、より正確な監視を提供し、確率的デコーディングによる品質低下を回避する。
• 自動評価と人的アノテーションによる検証を含め、2つの公開データセット（LogicNLGとLogic2Text）でフレームワークを評価する。

実験結果

リサーチクエスチョン

• RQ1 論理的タイプ制御により、1つのテーブル入力から多様で高品質な文を生成可能か？
• RQ2 確率的デコーディングベースのベースラインと比較して、LT制御付き生成は事実性と多様性のトレードオフを改善するか？
• RQ3 入力LTが欠落している場合でも、モデルが生成された文の論理的タイプに対する制御をどの程度維持できるか？
• RQ4 流暢さ、適切さ、事実的正確性という観点から、最先端のT2Tモデルと比較して、モデルの性能はどの程度か？
• RQ5 順序付きなど、まれなタイプや語彙的変動が大きいタイプに対しても、モデルは事実的正確な文を生成できるか？

主な発見

• 自動評価において、DevTCは最も強力なベースラインであるGPT-TabGenを事実性と多様性のトレードオフにおいて上回り、パレート最適な領域に優れた位置を占めた。
• 人的評価では、55%のケースでDevTCがベースラインよりも事実的であると判断され、有意差（p < 0.05）を示した。
• 7つの論理的タイプ全体で平均79.8%のLT整合性を達成し、ベースラインモデルの17%の整合性を大きく上回った。
• 順序付き論理タイプ（語彙的ばらつきと限られた訓練データのため）では最低の整合性（68.4%）を示したが、これはまれなタイプにおける改善の余地があることを示している。
• 入力LTが欠落している場合でも、DevTCは高い事実的正確性を維持し、自動評価および人的評価の両方でベースラインを上回った。
• 確率的デコーディングによる品質低下を回避した。多様性は、確率的デコーディングに依存せず、構造的なLT条件付けによって達成された。