[논문 리뷰] ISEEQ: Information Seeking Question Generation using Dynamic Meta-Information Retrieval and Knowledge Graphs

Manas Gaur, Kalpa Gunaratna외 2명|arXiv (Cornell University)|2021. 12. 12.

Topic Modeling인용 수 4

한 줄 요약

ISEEQ는 동적 지식 그래프 통합과 강화 학습을 활용하여 짧은 사용자 쿼리에서 정보 탐색 질문(ISQ)을 생성하는 새로운 프레임워크이다. 지식 강화를 통해 쿼리 이해를 향상시키고, 맥락적으로 관련된 문단을 검색하며, 의미적으로 일관되고 다양한 ISQ를 생성하여 네 개의 데이터셋에서 베이스라인을 능가하고 도메인 간 전이 능력이 뛰어나다.

ABSTRACT

Conversational Information Seeking (CIS) is a relatively new research area within conversational AI that attempts to seek information from end-users in order to understand and satisfy users' needs. If realized, such a system has far-reaching benefits in the real world; for example, a CIS system can assist clinicians in pre-screening or triaging patients in healthcare. A key open sub-problem in CIS that remains unaddressed in the literature is generating Information Seeking Questions (ISQs) based on a short initial query from the end-user. To address this open problem, we propose Information SEEking Question generator (ISEEQ), a novel approach for generating ISQs from just a short user query, given a large text corpus relevant to the user query. Firstly, ISEEQ uses a knowledge graph to enrich the user query. Secondly, ISEEQ uses the knowledge-enriched query to retrieve relevant context passages to ask coherent ISQs adhering to a conceptual flow. Thirdly, ISEEQ introduces a new deep generative-adversarial reinforcement learning-based approach for generating ISQs. We show that ISEEQ can generate high-quality ISQs to promote the development of CIS agents. ISEEQ significantly outperforms comparable baselines on five ISQ evaluation metrics across four datasets having user queries from diverse domains. Further, we argue that ISEEQ is transferable across domains for generating ISQs, as it shows the acceptable performance when trained and tested on different pairs of domains. The qualitative human evaluation confirms ISEEQ-generated ISQs are comparable in quality to human-generated questions and outperform the best comparable baseline.

연구 동기 및 목표

• 대화형 정보 탐색(CIS)에서 짧은 사용자 쿼리로부터 고품질의, 호기심 기반의 정보 탐색 질문(ISQ)을 자동으로 생성하는 열린 문제를 해결하기 위해.
• 전문가가 정제한 지식 그래프를 통합하여 쿼리 의미를 강화하고 더 나은 맥락 검색을 가능하게 하여 ISQ 생성을 향상시키기 위해.
• 강화 학습 기반의 생성 전략을 통해 생성된 ISQ가 개념적 흐름(의미 관계와 논리적 일관성)을 유지하도록 하기 위해.
• 각 도메인에 대해 새로운 커뮤니티 기반 데이터 수집 없이도 도메인 간 일반화를 가능하게 하기 위해.
• CIS 시스템 개발을 가속화하기 위해 자동화된 데이터셋 생성을 위한 확장 가능한 파이프라인을 구축하기 위해.

제안 방법

• ISEEQ는 초기 짧은 사용자 쿼리에 의미적 엔티티와 관계를 지식 그래프를 통해 통합하여 후속 검색을 위한 쿼리 표현을 향상시킨다.
• 풍부화된 쿼리를 사용하여 대규모 코퍼스에서 동적이고 지식 기반의 문단 검색을 수행하여 질문 생성에 적합한 맥락적으로 관련된 문단을 식별한다.
• 개념적 흐름과 논리적 일관성을 고려한 보상 구조를 적용한 생성 적대적 강화 학습(ERL) 프레임워크를 사용하여 ISQ 생성기를 훈련시킨다.
• 보상 모델은 함의 제약 조건과 유창성 지표를 활용하여 의미적 관련성, 다양성, ISQ 간 논리적 진행을 최적화하도록 훈련된다.
• 두 단계 훈련 과정을 적용한다: 첫 번째로 T5 기반의 시퀀스 투 시퀀스 모델을 감독 기반 ISQ 데이터로 미세조정하고, 두 번째로 인간의 피드백 신호를 포함한 강화 학습을 통해 추가로 개선한다.
• 하이퍼파라미터는 Ray를 사용하여 튜닝하며, α(0.1971), γ(0.12), 학습률 1.17e-5 등의 특정 값을 설정하고, 네 개의 V100 GPU에서 100~120 에포크 동안 훈련한다.

실험 결과

연구 질문

• RQ1 전문가가 정제한 지식 소스, 예를 들어 지식 그래프가 ISQ의 맥락 검색과 질문 생성에 도움이 될 수 있는가?
• RQ2 ISEEQ는 의미 관계와 논리적 일관성(개념적 흐름)을 유지하는 ISQ를 생성할 수 있는가?
• RQ3 ISEEQ는 새로운 도메인에 대해 새로운 커뮤니티 기반 데이터 수집 없이도 도메인 간 일반화를 통해 고품질의 ISQ를 생성할 수 있는가?
• RQ4 학습과 테스트가 서로 다른 도메인에서 이루어지는 교차 도메인 환경에서 ISEEQ의 성능은 어떠한가?
• RQ5 강화 학습 구성 요소가 다양한, 유창하고 맥락적으로 일관된 ISQ의 생성을 효과적으로 이끌 수 있는가?

주요 결과

• ISEEQ는 QAD, QAMR, FBC, CAsT-19를 포함한 네 개의 다양한 데이터셋에서 다섯 가지 ISQ 평가 지표에서 경쟁적인 T5 기반 및 미세조정된 베이스라인을 뛰어나게 성능을 발휘한다.
• QAMR 데이터셋에서 ISEEQ는 ROUGE-L 점수 0.74, F1 점수 0.89, 개념적 흐름 점수 77.8%를 기록하여 최고의 베이스라인을 능가했다.
• 교차 도메인 전이 실험에서 ISEEQ-ERL은 {QAD-QAMR} 및 {QAMR-FBC} 쌍에서 훈련 데이터가 테스트 데이터보다 작을 경우에도 만족스러운 성능을 보였다.
• 인간 평가 결과, ISEEQ가 생성한 ISQ는 인간이 생성한 질문(S1)과 통계적으로 유사했고, T5-FT CANARD 베이스라인(S3)보다 유의미하게 뛰어났으며, S1과 S2 간 평균 점수에 유의미한 차이가 없었다.
• 시스템은 강력한 전이 능력을 보였으며, 좁은 도메인(FBC)에서 훈련된 ISEEQ가 일반 도메인에 대해 고품질의 ISQ를 생성하는 데 성공하여 제로샷 또는 피처샷 적응 가능성 잠재력을 보였다.
• ANOVA 및 사후 분석을 통해 ISEEQ와 인간이 생성한 ISQ는 모두 베이스라인보다 유의미하게 더 다양하고 일관성 있는 것으로 확인되었으며, S1과 S2 간 평균 점수에 통계적 차이가 없었다.