[論文レビュー] Table-to-Text Generation with Effective Hierarchical Encoder on Three Dimensions (Row, Column and Time)

Heng Gong, Xiaocheng Feng+2 more|arXiv (Cornell University)|Sep 5, 2019

Advanced Text Analysis Techniques参考文献 20被引用数 4

ひとこと要約

本論文は、自己注意メカニズムを用いて、行、列、時間の3次元においてテーブルセルをモデル化する、階層的エンコーダーの新規提案を行う。セル融合ゲートを導入し、各次元からの顕著な表現を動的に統合することで、事実の整合性と文の自然さが著しく向上し、ROTOWIREベンチマークで強いベースラインより2.66 BLEU向上を達成し、最先端の結果を達成した。

ABSTRACT

Although Seq2Seq models for table-to-text generation have achieved remarkable progress, modeling table representation in one dimension is inadequate. This is because (1) the table consists of multiple rows and columns, which means that encoding a table should not depend only on one dimensional sequence or set of records and (2) most of the tables are time series data (e.g. NBA game data, stock market data), which means that the description of the current table may be affected by its historical data. To address aforementioned problems, not only do we model each table cell considering other records in the same row, we also enrich table's representation by modeling each table cell in context of other cells in the same column or with historical (time dimension) data respectively. In addition, we develop a table cell fusion gate to combine representations from row, column and time dimension into one dense vector according to the saliency of each dimension's representation. We evaluated our methods on ROTOWIRE, a benchmark dataset of NBA basketball games. Both automatic and human evaluation results demonstrate the effectiveness of our model with improvement of 2.66 in BLEU over the strong baseline and outperformance of state-of-the-art model.

研究の動機と目的

• 既存のテーブル対テキストモデルがテーブルを1次元のシーケンスまたはレコードの集合としてエンコードするという制限に対処する。これにより、構造的および時間的関係が無視される。
• 行、列、および歴史的な時系列データの文脈においてテーブルセルをモデル化することで、生成されたテキストの事実の整合性を向上させる。
• 学習可能な統合メカニズムを用いて、行、列、時間の表現を同時にエンコードすることで、コンテンツ選択と要約の質を向上させる。
• 「ダブルダブル」トレンドのような、現在のテーブルを超えた歴史的データへのアクセスを必要とする、選手のパフォーマンスの時間的推移をモデル化する。

提案手法

• 各テーブルセルを独立して行、列、時間の次元においてエンコードするための、3つの別々の自己注意ネットワークを使用する。
• 各次元の重要度に基づき、3次元表現を1つの密なベクトルに統合する、学習可能なセル統合ゲートを適用する。
• 行レベルの表現に対して平均プーリングを適用し、行レベルの文脈表現を形成した後、関連性の低い行をフィルタリングするコンテンツ選択ゲートを適用する。
• 標準のアテンションベースのデコーダーにコンテンツ選択ゲートを組み合わせ、テキスト生成中に重要なテーブル行に選択的に注目させる。
• 時系列データを扱う際には、同じプレーヤーの前回の試合における履歴値を用いて、各セルの表現をモデル化する。
• ROTOWIREデータセット上でエンドツーエンドの学習を実施し、自動評価および人的評価を用いて文の自然さ、一貫性、事実の整合性を評価する。

実験結果

リサーチクエスチョン

• RQ1 行、列、時間の3次元においてテーブルセルをモデル化することで、テーブル対テキスト生成における生成テキストの質が向上するか？
• RQ2 行、列、時間の表現を同時にエンコードすることで、コンテンツ選択と事実の整合性にどのような影響を与えるか？
• RQ3 学習可能な統合ゲートが、多次元表現を効果的に統合し、モデル性能を向上させることができるか？
• RQ4 歴史的パフォーマンスデータを組み込むことで、選手のトレンド（例：「過去3試合で2度目のダブルダブル」）を正確に要約する能力が向上するか？
• RQ5 自動評価および人的評価指標において、提案モデルは強力なベースラインおよび最先端モデルと比較してどのように差をつけるか？

主な発見

• BLEUスコアがベースラインの14.19から16.85に向上し、相対的に18.75%の向上を達成した。
• 関係生成（RG）F1スコアがベースラインの74.80%から91.46%に上昇し、相対的に22.27%の向上を示した。
• コンテンツ選択（CS）F1スコアが32.49%から41.21%に上昇し、相対的に26.84%の向上を示し、関連するテーブルレコードの選択が改善されたことを示した。
• コンテンツ順序（CO）スコアが15.42から20.86に向上し、相対的に35.28%の向上を示し、生成テキストの構造的一貫性が向上したことを示した。
• 人的評価では、神経ベースライン（CC, NCP）およびテンプレートベースのシステムよりも、より文法的に正しく、一貫性があり、事実に基づいたテキストを生成することが確認された。
• 定性的分析では、モデルがAl Jeffersonのような主要なプレーヤーを正しく特定し、例として「過去3試合で2度目のダブルダブル」といった歴史的パフォーマンストレンドを正確に要約していることが示された。