[논문 리뷰] Table-to-text Generation by Structure-aware Seq2seq Learning

Tianyu Liu, Kexiang Wang외 3명|arXiv (Cornell University)|2017. 11. 27.

Topic Modeling참고 문헌 19인용 수 40

한 줄 요약

이 논문은 표준화되지 않은 스키마를 가진 구조적 표에서 자연어 기술을 생성하기 위해 구조 인식 시퀀스-투-시퀀스 모델을 제안한다. 이 모델은 필드 게이팅 LSTM 인코더와 이중 주의 메커니즘(단어 수준 및 필드 수준)을 사용하여 내용 및 구조적 인코딩을 향상시킨다. 이는 WIKIBIO 데이터셋에서 최신 기술 성능을 달성하며, 자동 평가에서 기존 모델들을 크게 앞서며, 표의 내용에 대한 局소적 및 전역적 주소 지정을 효과적으로 모델링함으로써 더 일관되고 정보가 풍부한 기술을 생성한다.

ABSTRACT

Table-to-text generation aims to generate a description for a factual table which can be viewed as a set of field-value records. To encode both the content and the structure of a table, we propose a novel structure-aware seq2seq architecture which consists of field-gating encoder and description generator with dual attention. In the encoding phase, we update the cell memory of the LSTM unit by a field gate and its corresponding field value in order to incorporate field information into table representation. In the decoding phase, dual attention mechanism which contains word level attention and field level attention is proposed to model the semantic relevance between the generated description and the table. We conduct experiments on the exttt{WIKIBIO} dataset which contains over 700k biographies and corresponding infoboxes from Wikipedia. The attention visualizations and case studies show that our model is capable of generating coherent and informative descriptions based on the comprehensive understanding of both the content and the structure of a table. Automatic evaluations also show our model outperforms the baselines by a great margin. Code for this work is available on https://github.com/tyliupku/wiki2bio.

연구 동기 및 목표

• 복잡하고 비균일한 스키마를 가진 표에서 일관되고 정보가 풍부한 자연어 기술을 생성하는 데 도전하는 데 목적을 둔다.
• 내용(필드-값 쌍)과 구조 정보(레코드 순서, 필드 중요도)를 동시에 모델링하여 표 기반 텍스트 생성을 향상시키는 데 목적을 둔다.
• 고정된 스키마나 원-핫 표현에 의존하는 이전 모델의 한계를 극복하여 장거리 의존성과 구조적 세부 사항을 포착하지 못하는 문제를 해결하고자 한다.
• 지문 생성 중 특정 단어에 집중하는 局소적 주소 지정과 함께, 어떤 표 레코드를 강조할지 결정하는 효과적인 전역적 주소 지정을 가능하게 하고자 한다.
• 표의 레코드 순서가 뒤섞여도 성능이 유지되는 것으로 보여, 표 기반 텍스트 생성에서 구조 인식의 필요성을 입증하고자 한다.

제안 방법

• 표 필드의 구조적 표현을 가능하게 하기 위해, 필드 임베딩을 셀 상태에 통합하는 필드 게이팅 메커니즘을 LSTM 인코더에 도입한다.
• 디코더에서 이중 주의 메커니즘을 사용한다: 단어 수준 주의는 특정 콘텐츠 토큰과의 국소적 정렬을 위해, 필드 수준 주의는 표 필드와의 전역적 정렬을 위해 사용된다.
• LSTM 유닛을 사용하는 인코더-디코더 프레임워크를 적용하며, 인코더는 필드 인식 게이팅을 통해 필드-값 레코드를 처리한다.
• 콘텐츠 인코딩과 단어 수준 주의를 통해 국소적 주소 지정을 적용하여 생성 과정에서 관련 단어에 집중한다.
• 필드 인코딩과 필드 수준 주의를 통해 전역적 주소 지정을 적용하여 기술에 우선시할 표 레코드를 결정한다.
• 70만 개 이상의 위키백과 생애 기록과 관련된 인포박스를 포함하는 WIKIBIO 데이터셋에서 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 시퀀스-투-시퀀스 모델이 사실 기반 표의 내용과 구조적 레이아웃을 효과적으로 인코딩하여 텍스트 생성 품질을 향상시킬 수 있는가?
• RQ2 LSTM 셀 상태에 필드 수준 정보를 통합할 경우, 생성된 기술의 품질에 어떤 영향을 미치는가?
• RQ3 이중 주의 메커니즘(단어 수준 및 필드 수준)이 생성된 텍스트와 표 콘텐츠 간의 정렬을 얼마나 향상시키는가?
• RQ4 모델이 레코드 순서가 뒤섞인 표에 대해서도 잘 일반화되는가? 이는 강력한 전역적 주소 지정 능력을 시사한다.
• RQ5 자동 평가 및 정성 평가 지표에서 강력한 기준 모델들과 비교해 모델 성능은 어떠한가?

주요 결과

• 구조 인식 시퀀스-투-시퀀스 모델은 WIKIBIO 테스트 세트에서 BLEU 점수 44.28과 ROUGE 점수 40.79를 기록하여, 기존 시퀀스-투-시퀀스 모델(40.04 BLEU, 36.85 ROUGE)과 필드 및 위치 특징을 갖춘 모델(42.10 BLEU, 38.97 ROUGE)을 크게 앞선다.
• 랜덤으로 뒤섞인 레코드를 가진 비순서 표에서 모델의 성능 저하가 미미하다(_BLEU 점수 감소 0.61 이내_), 이는 기존 모델들보다 훨씬 우수한 전역적 주소 지정 능력을 보여준다.
• 사례 연구 결과, 모델은 위치, 데뷔 일자, 팀 등 여러 필드를 종합적으로 다루는 기술을 생성하는 반면, 기준 모델들은 종종 핵심 정보를 누락하거나 언급되지 않은 세부 정보를 허구적으로 생성한다.
• 주의 시각화 결과, 이중 주의 메커니즘이 생성된 토큰이 관련 표 필드 및 콘텐츠와 효과적으로 정렬됨을 확인하여 국소적 및 전역적 주소 지정이 잘 작동함을 입증한다.
• 모델은 더 정확하고 정보가 풍부한 기술을 생성하며, 예를 들어 선수의 팀과 시기 정보를 정확히 식별하지만, '메이저 리그 베이스볼'처럼 잘못된 또는 근거 없는 세부 정보를 추가하지 않는다.