[논문 리뷰] Automatic Summarization System coupled with a Question-Answering System (QAAS)

Juan‐Manuel Torres‐Moreno, Pier-Luc St-Onge외 3명|ArXiv.org|2009. 05. 18.

Topic Modeling참고 문헌 22인용 수 27

한 줄 요약

이 논문은 질문-답변 시스템(QAAS)을 향상시키기 위해 일반 요약기(Cortex)를 사용해 문서를 필터링하고 압축하여 답변 추출 이전에 처리하는 결합된 자동 요약 및 질문-답변 시스템을 제안한다. 이 시스템은 벡터 공간 모델과 10개의 통계적 지표를 조합한 의사결정 알고리즘을 사용하여 높은 관련성의 문장을 추출하며, 특히 사용자 질문에 기반한 개인화된 요약을 생성할 때 답변 정밀도가 향상된다.

ABSTRACT

To select the most relevant sentences of a document, it uses an optimal decision algorithm that combines several metrics. The metrics processes, weighting and extract pertinence sentences by statistical and informational algorithms. This technique might improve a Question-Answering system, whose function is to provide an exact answer to a question in natural language. In this paper, we present the results obtained by coupling the Cortex summarizer with a Question-Answering system (QAAS). Two configurations have been evaluated. In the first one, a low compression level is selected and the summarization system is only used as a noise filter. In the second configuration, the system actually functions as a summarizer, with a very high level of compression. Our results on French corpus demonstrate that the coupling of Automatic Summarization system with a Question-Answering system is promising. Then the system has been adapted to generate a customized summary depending on the specific question. Tests on a french multi-document corpus have been realized, and the personalized QAAS system obtains the best performances.

연구 동기 및 목표

• 자동 텍스트 요약 모듈을 통합하여 질문-답변 시스템의 성능을 향상시키기 위해.
• 요약이 QA 정확도 향상에 기여하기 위해 노이즈 필터로 작용할 수 있는지 또는 고압축 요약기로 작용할 수 있는지 평가하기 위해.
• 학습 데이터가 필요 없이 사용자 질문에 맞게 적응하는 요약 방법을 개발하기 위해.
• 통계적 지표와 의사결정 알고리즘을 조합하여 일반 요약 및 질문 기반 요약 모두에 관련 문장을 선택하는 데 효과적인지 평가하기 위해.
• 벡터 공간 모델과 지표 융합을 사용하여 요약과 QA를 결합하는 것이 프랑스어 텍스트 코퍼스에서 실현 가능하고 유용한지 입증하기 위해.

제안 방법

• 텍스트를 수치 벡터로 표현하여 효율적인 처리가 가능한 벡터 공간 모델을 사용해 문서를 전처리한다.
• tf.idf, 문장 위치, 명명된 실체 빈도 등 10개의 독립적인 통계적 지표를 적용하여 문장의 관련성 점수를 매긴다.
• 최적의 가중치를 사용해 이러한 지표들을 융합하는 의사결정 알고리즘(DA)을 활용하여 가장 관련성이 높은 문장을 선별한다.
• 하나의 구성에서는 저압축 요약을 노이즈 필터로 사용하고, 다른 구성에서는 고압축 요약을 사용하여 QA 성능에 미치는 영향을 평가한다.
• 사용자 질문에 포함된 용어를 포함한 문장을 우선순위로 삼아 요약 과정을 조정함으로써 개인화된 요약을 가능하게 한다.
• 요약된 출력물을 QA 파이프라인에 통합하여 검색 공간을 축소하고 답변 추출 정밀도를 향상시킨다.

실험 결과

연구 질문

• RQ1 답변 추출 이전에 자동 요약을 적용할 경우, 질문-답변 시스템의 정밀도와 재현율을 향상시킬 수 있는가?
• RQ2 저압축 요약(노이즈 필터로 사용)을 적용할 경우, 고압축 요약기로 사용할 경우보다 더 나은 QA 성능을 얻을 수 있는가?
• RQ3 질문에 무관한 요약기로 개발된 요약기가 특정 사용자 질문에 맞게 개인화된 요약을 효과적으로 생성할 수 있는가?
• RQ4 의사결정 알고리즘에서 개별 지표와 그 가중치의 변화에 따라 요약 결과가 얼마나 민감하게 반응하는가?
• RQ5 벡터 공간 모델과 지표 융합이 프랑스어 다중문서 요약에서 QA를 위한 효과적인 문장 선택을 얼마나 잘 지원하는가?

주요 결과

• Cortex 요약기와 QA 시스템을 결합함으로써 답변 품질이 크게 향상되었으며, 특히 사용자 질문에 기반한 개인화된 요약을 생성할 때 두드러진 성능 향상이 관찰되었다.
• 저압축 구성(노이즈 필터로 사용)에서는 관련 없는 문서를 줄여 QA 모듈의 입력을 더 깔끔하게 만들었으며, 이로 인해 답변 검색 성능이 향상되었다.
• 고압축 구성에서는 문서의 가장 관련성 높은 내용으로 압축함으로써 추출된 답변의 정밀도가 향상되어 뛰어난 성능을 기록했다.
• 사용자 질문에 맞게 요약을 적응시키는 개인화된 QAAS 시스템이 프랑스어 다중문서 코퍼스에서 가장 뛰어난 종합 성능을 기록했다.
• 학습 데이터가 전혀 필요 없이 tf.idf, 문장 위치, 명명된 실체 존재 여부 등의 10개의 통계적 지표를 효과적으로 융합하는 의사결정 알고리즘이 다양한 구성에서 뛰어난 안정성을 보였다.
• 결과는 요약을 QA 파이프라인에 통합함으로써 검색 공간을 줄이고 정확하고 간결한 답변를 추출할 가능성을 높여주며, 이는 실생활 응용에 유망한 접근법임을 확인시켰다.