[논문 리뷰] Table-to-Text Generation with Effective Hierarchical Encoder on Three Dimensions (Row, Column and Time)

Heng Gong, Xiaocheng Feng외 2명|arXiv (Cornell University)|2019. 09. 05.

Advanced Text Analysis Techniques참고 문헌 20인용 수 4

한 줄 요약

이 논문은 self-attention 기반 메커니즘을 사용하여 행, 열, 시간의 세 가지 차원에서 테이블 셀을 모델링하는 새로운 계층적 인코더를 제안한다. 이는 각 차원에서 유의미한 표현을 동적으로 조합하는 셀 융합 게이트를 도입하여 사실 일관성과 유창성을 크게 향상시키며, ROTOWIRE 벤치마크에서 강력한 베이스라인 대비 2.66 BLEU 향상으로 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Although Seq2Seq models for table-to-text generation have achieved remarkable progress, modeling table representation in one dimension is inadequate. This is because (1) the table consists of multiple rows and columns, which means that encoding a table should not depend only on one dimensional sequence or set of records and (2) most of the tables are time series data (e.g. NBA game data, stock market data), which means that the description of the current table may be affected by its historical data. To address aforementioned problems, not only do we model each table cell considering other records in the same row, we also enrich table's representation by modeling each table cell in context of other cells in the same column or with historical (time dimension) data respectively. In addition, we develop a table cell fusion gate to combine representations from row, column and time dimension into one dense vector according to the saliency of each dimension's representation. We evaluated our methods on ROTOWIRE, a benchmark dataset of NBA basketball games. Both automatic and human evaluation results demonstrate the effectiveness of our model with improvement of 2.66 in BLEU over the strong baseline and outperformance of state-of-the-art model.

연구 동기 및 목표

• 기존 테이블 텍스트 모델이 테이블을 일차원 시퀀스 또는 레코드 집합으로 인코딩하는 데서 비롯하는 한계를 해결하기 위해, 즉 구조적 및 시간적 관계를 간과하는 것을 방지하기 위함.
• 행, 열, 이력 시계열 데이터의 맥락에서 테이블 셀을 모델링하여 생성된 텍스트의 사실적 정확성을 향상시키기 위함.
• 학습 가능한 융합 메커니즘을 통해 행, 열, 시간 표현을 동시에 인코딩하여 콘텐츠 선택 및 요약 성능을 향상시키기 위함.
• 현재 테이블을 초월한 이력 데이터 접근이 필요한 '더블더블' 추세와 같은 선수 성과의 시간적 경향을 모델링하기 위함.

제안 방법

• 각 테이블 셀을 독립적으로 행, 열, 시간 차원에서 인코딩하기 위해 세 개의 별도 self-attention 네트워크를 사용한다.
• 각 차원의 중요도에 따라 세 차원 표현을 통합하여 단일이고 조밀한 벡터로 만드는 학습 가능한 셀 융합 게이트를 적용한다.
• 행 수준 표현에 대해 평균 풀링을 적용하여 행 수준의 맥락 표현을 형성한 후, 관련성이 낮은 행을 걸러내기 위해 콘텐츠 선택 게이트를 적용한다.
• 표준 attention 기반 디코더에 콘텐츠 선택 게이트를 도입하여 텍스트 생성 과정에서 중요한 테이블 행에만 집중적으로 주목하도록 한다.
• 시계열 데이터는 동일한 선수가 이전 경기에서 기록한 이력 값을 기반으로 각 셀의 표현을 모델링한다.
• ROTOWIRE 데이터셋에서 엔드 투 엔드로 학습을 수행하며, 자동 평가 및 인간 평가를 통해 유창성, 통일성, 사실 일관성 등을 평가한다.

실험 결과

연구 질문

• RQ1 행, 열, 시간 차원에서 테이블 셀을 동시에 모델링하면 테이블 텍스트 생성의 품질이 향상되는가?
• RQ2 행, 열, 시간 표현을 함께 인코딩하면 콘텐츠 선택 및 사실 일관성에 어떤 영향을 미치는가?
• RQ3 학습 가능한 융합 게이트가 다차원 표현을 효과적으로 융합하여 모델 성능을 향상시킬 수 있는가?
• RQ4 이력 성과 데이터를 통합하면 모델이 선수의 추세(예: '최근 세 경기 중 두 번째 더블더블')를 정확하게 요약하는 데 도움이 되는가?
• RQ5 자동 평가 및 인간 평가 지표에서 제안된 모델은 강력한 베이스라인 및 최신 기술 수준 모델과 비교해 어떤가?

주요 결과

• BLEU 점수는 베이스라인의 14.19에서 16.85로 상승하여 상대적 향상률 18.75%를 기록했다.
• 관계 생성(RG) F1 점수는 베이스라인의 74.80%에서 91.46%로 상승하여 상대적 향상률 22.27%를 기록했다.
• 콘텐츠 선택(CS) F1 점수는 32.49%에서 41.21%로 상승하여 상대적 향상률 26.84%를 기록했으며, 관련성이 높은 테이블 레코드를 더 잘 선택함을 시사한다.
• 콘텐츠 순서(CO) 점수는 15.42에서 20.86으로 상승하여 상대적 향상률 35.28%를 기록했으며, 생성된 텍스트의 구조적 통일성이 향상됨을 보여준다.
• 인간 평가 결과, 모델이 신경망 베이스라인(CC, NCP)과 템플릿 기반 시스템보다 더 문법적으로 정확하고 통일성 있고 사실적인 텍스트를 생성함을 확인했다.
• 정성적 분석 결과, 모델은 Al Jefferson와 같은 주요 선수를 정확히 식별하고, '최근 세 경기 중 두 번째 더블더블'과 같은 이력 성과 추세를 정확히 요약하는 데 성공했다.