[논문 리뷰] Figure Captioning with Reasoning and Sequence-Level Training

Charles Chen, Ruiyi Zhang외 6명|arXiv (Cornell University)|2019. 06. 07.

Multimodal Machine Learning Applications참고 문헌 43인용 수 7

한 줄 요약

이 논문은 도표 요약 생성을 위한 새로운 데이터셋인 FigCAP을 소개하고, 정확한 레이블 집중을 위한 레이블 맵 주의와 도표 레이블 간 관계를 모델링하기 위한 관계 맵 주의라는 두 가지 새로운 주의 메커니즘을 제안한다. 또한 노출 편향을 줄이고 장문의 요약 생성 성능을 향상시키기 위해 시퀀스 수준의 강화 학습 훈련을 도입하여, 고수준 및 세부 요약 작업 모두에서 기존의 기준 모델들을 크게 능가한다.

ABSTRACT

Figures, such as bar charts, pie charts, and line plots, are widely used to convey important information in a concise format. They are usually human-friendly but difficult for computers to process automatically. In this work, we investigate the problem of figure captioning where the goal is to automatically generate a natural language description of the figure. While natural image captioning has been studied extensively, figure captioning has received relatively little attention and remains a challenging problem. First, we introduce a new dataset for figure captioning, FigCAP, based on FigureQA. Second, we propose two novel attention mechanisms. To achieve accurate generation of labels in figures, we propose Label Maps Attention. To model the relations between figure labels, we propose Relation Maps Attention. Third, we use sequence-level training with reinforcement learning in order to directly optimizes evaluation metrics, which alleviates the exposure bias issue and further improves the models in generating long captions. Extensive experiments show that the proposed method outperforms the baselines, thus demonstrating a significant potential for the automatic captioning of vast repositories of figures.

연구 동기 및 목표

• 도표의 시각적 자료, 레이블, 관계를 이해해야 하는 자동 도표 요약 생성 문제에 대해 아직 탐색되지 않은 문제를 해결하기 위해.
• 도표 요약 연구를 지원하기 위해 FigureQA 기반의 새로운 대규모 데이터셋(FigCAP)을 구축하기 위해.
• 레이블링된 데이터 포인트와 관계 패턴과 같은 도표의 고유한 구조에 맞게 맞춤형 주의 메커니즘을 개발하기 위해.
• 시퀀스 수준의 강화 학습을 통해 노출 편향을 완화하고 장문의 요약 생성 성능을 향상시키기 위해.

제안 방법

• 레이블 위치와 값을 주의 맵으로 인코딩하여 디코더가 도표의 특정 레이블에 집중할 수 있도록 하는 레이블 맵 주의를 제안한다.
• 학습된 관계 특징을 사용하여 도표 레이블 간의 논리적 관계(예: '막대 A는 막대 B보다 높다')를 모델링하는 관계 맵 주의를 도입한다.
• 훈련 중에 CIDEr, BLEU, METEOR, ROUGE 지표를 직접 최적화하기 위해 시퀀스 수준의 훈련을 강화 학습과 함께 채택한다.
• 시각적 특징을 도표에서 추출하고 자연어 요약으로 디코딩하는 데 사용되는 CNN과 LSTM 구성 요소를 포함한 인코더-디코더 프레임워크를 사용한다.
• 전체 요약 시퀀스의 누적 보상 기반으로 모델을 업데이트하기 위해 강화 학습에서 정책 기반 방법을 활용한다.
• 검증 세트에서 초모수를 튜닝하고, 표준 자동 평가 지표를 사용하여 테스트 세트에서 성능을 평가한다.

실험 결과

연구 질문

• RQ1 FigureQA 기반의 새로운 데이터셋이 도표 요약 모델의 성능 향상과 재현 가능성 향상에 기여하는가?
• RQ2 레이블 맵 주의와 관계 맵 주의와 같은 전용 주의 메커니즘이 도표의 레이블 특정 정보와 관계 정보를 얼마나 효과적으로 포착하는가?
• RQ3 시퀀스 수준의 강화 학습 훈련이 노출 편향을 얼마나 효과적으로 줄이고 장문의 요약 생성 성능을 향상시키는가?
• RQ4 관계 추론과 레이블 인식 주의의 통합이 세부 도표 설명에 대한 요약 품질 향상에 측정 가능한 기여를 하는가?

주요 결과

• 레이블 맵 주의는 고수준 및 세부 요약 작업 모두에서 요약 생성 성능을 크게 향상시키며, 도표 전용 레이블에 집중하는 것이 가치가 있음을 입증한다.
• 관계 맵 주의는 특히 비교적 값과 같은 관계 기반 서술이 필요한 경우 세부 요약에서 두드러진 성과 향상을 이룬다.
• 시퀀스 수준의 강화 학습 훈련은 노출 편향을 효과적으로 줄이고 장문의 요약에 대해 성능 향상을 이끌어내며, 특히 FigCAP-D 데이터셋에서 두드러진다.
• 레이블 맵 주의, 관계 맵 주의, 강화 학습 훈련의 조합은 CIDEr, BLEU, METEOR, ROUGE 등 여러 지표에서 최신 기술 수준의 성능을 달성한다.
• RL을 적용한 Att_F, Att_L, Att_R를 모두 사용하는 모델(F+Att_L+Att_R+RL)은 모든 기준 모델을 능가하며, 제안된 구성 요소 간의 상호보완적 이점이 확인된다.
• 복잡한 주의 메커니즘을 사용할 경우 고수준 요약과 세부 요약 간의 성능 격차가 더 커지며, 이는 세부 요약이 더 어려우며 관계 모델링의 도움을 더 많이 받는다는 것을 시사한다.