[논문 리뷰] Textbook Question Answering with Knowledge Graph Understanding and Unsupervised Open-set Text Comprehension.

Daesik Kim, Seonhoon Kim외 1명|arXiv (Cornell University)|2018. 11. 01.

Multimodal Machine Learning Applications참고 문헌 12인용 수 4

한 줄 요약

이 논문은 그래프 컬러네이션 네트워크(f-GCN)를 사용하여 다중 모odal 문맥(텍스트 및 이미지)에서 지식 그래프를 구축하고, 도메인 외 과학 용어 문제를 해결하기 위해 자기 지율적 오픈 세트 학습 방법을 도입하는 새로운 프레임워크를 제안한다. 이 방법은 TQA 벤치마크에서 이전 최고 성능 모델들을 크게 능가한다.

ABSTRACT

In this work, we introduce a novel algorithm for solving the textbook question answering (TQA) task which describes more realistic QA problems compared to other recent tasks. We mainly focus on two related issues with analysis of the TQA dataset. First, solving the TQA problems requires to comprehend multi-modal contexts in complicated input data. To tackle this issue of extracting knowledge features from long text lessons and merging them with visual features, we establish a context graph from texts and images, and propose a new module f-GCN based on graph convolutional networks (GCN). Second, scientific terms are not spread over the chapters and subjects are split in the TQA dataset. To overcome this so called out-of-domain issue, before learning QA problems, we introduce a novel self-supervised open-set learning process without any annotations. The experimental results show that our model significantly outperforms prior state-of-the-art methods. Moreover, ablation studies validate that both methods of incorporating f-GCN for extracting knowledge from multi-modal contexts and our newly proposed self-supervised learning process are effective for TQA problems.

연구 동기 및 목표

• 장문의 텍스트와 이미지를 포함한 복잡한 다중 모달 교과서 문맥을 이해하고 질문에 답하는 데 도전하는 것.
• TQA 데이터셋에서 과학 용어의 분포가 희박한 데 기인한 도메인 외 문제를 극복하는 것.
• 라벨이 없는 데이터를 활용하여 지식 일반화를 가능하게 하는 자기 지율적 오픈 세트 학습 방법을 개발하는 것.
• 문맥 그래프 구조를 통해 시각적 및 텍스트적 특징을 효과적으로 융합하여 교과서 QA 성능을 향상시키는 것.
• f-GCN 모듈과 자기 지율적 학습 과정의 실제 TQA 환경에서의 효과성을 검증하는 것.

제안 방법

• 교과서 수업 내용과 관련된 이미지를 기반으로 개념과 시각적 요소 간의 관계를 모델링하기 위해 문맥 그래프를 구축한다.
• 그래프 컬러네이션 네트워크를 활용하여 다중 모달 문맥에서 특징 추출을 향상시키는 새로운 f-GCN(특징 인식 GCN) 모듈을 설계한다.
• QA 학습 이전에 자기 지율적 오픈 세트 학습 과정을 구현하여, 레이블이 없는 데이터에서 학습하고 알려지지 않은 과학 용어로의 일반화를 가능하게 한다.
• TQA 데이터셋을 사용하여 엔드 투 엔드로 모델을 훈련시키며, 지식 그래프 추론과 질문 응답을 동시에 최적화한다.
• 질문 표현을 문맥 그래프 내 관련 노드와 정렬하기 위해 어텐션 메커니즘을 적용하여 이해 능력을 향상시킨다.
• 자기 지율적 단계에서 대비 학습 목표를 적용하여 알려진 용어와 알려지지 않은 용어 간의 의미적 분리를 장려한다.

실험 결과

연구 질문

• RQ1 텍스트와 이미지를 포함한 다중 모달 교과서 문맥을 효과적으로 모델링하여 질문 응답을 위한 지식 추출을 향상시킬 수 있는가?
• RQ2 자기 지율적 오픈 세트 학습이 교과서 QA에서 도메인 외 과학 용어로의 일반화에 얼마나 기여하는가?
• RQ3 GCN 기반 모듈과 함께 문맥 그래프를 통합하면 표준 신경망에 비해 복잡한 TQA 과제에서 더 높은 성능을 내는가?
• RQ4 f-GCN과 자기 지율적 학습 구성 요소가 개별적으로 전체 모델 성능에 기여하는 정도는 어떠한가?
• RQ5 제안된 방법은 레이블이 없는 도메인 외 예시를 사용하지 않고도 TQA 벤치마크에서 최고 성능을 달성할 수 있는가?

주요 결과

• 제안된 모델은 TQA 벤치마크에서 이전 최고 성능 모델들보다 뚜렷한 성능 향상을 보이며, 뛰어난 일반화 및 이해 능력을 입증한다.
• 제거 실험 결과, 다중 모달 특징 추출을 위한 f-GCN 모듈과 자기 지율적 오픈 세트 학습 과정이 모두 모델 성능 향상에 기여한다는 것이 확인된다.
• 자기 지율적 학습 과정은 레이블이 없는 데이터가 필요 없이 도메인 외 과학 용어에 효과적으로 적응할 수 있도록 한다.
• 문맥 그래프 구축은 개념 간 의미적 및 시각적 관계를 포착하여 복잡한 다문장 교과서 문장에 대한 추론 능력을 향상시킨다.
• f-GCN 모듈은 그래프 내 관련 개념 간의 정보를 집계함으로써 특징 표현 학습을 향상시킨다.
• 학습 중에 접촉하지 못한 과학 용어가 등장하더라도 모델은 뛰어난 성능을 유지하며, 오픈 세트 학습 전략의 효과성을 입증한다.