[논문 리뷰] Preference-based Interactive Multi-Document Summarisation

Yang Gao, Christian M. Meyer외 1명|TUbilio (Technical University of Darmstadt)|2019. 06. 07.

Topic Modeling참고 문헌 38인용 수 6

한 줄 요약

이 논문은 활성 선호 학습과 신경 강화 학습을 융합하여 사용자 상호작용 라운드 수를 줄이는 선호 기반의 인터랙티브 다중 문서 요약 프레임워크인 APRIL을 제안한다. 사용자가 요약에 대해 신뢰성 있게 선호도를 제공할 수 있음을 입증하였으며, 단지 10회의 상호작용 라운드만으로도 기존 비상호작용 및 상호작용 기반 기준선보다 더 높은 품질의 요약을 생성한다.

ABSTRACT

Interactive NLP is a promising paradigm to close the gap between automatic NLP systems and the human upper bound. Preference-based interactive learning has been successfully applied, but the existing methods require several thousand interaction rounds even in simulations with perfect user feedback. In this paper, we study preference-based interactive summarisation. To reduce the number of interaction rounds, we propose the Active Preference-based ReInforcement Learning (APRIL) framework. APRIL uses Active Learning to query the user, Preference Learning to learn a summary ranking function from the preferences, and neural Reinforcement Learning to efficiently search for the (near-)optimal summary. Our results show that users can easily provide reliable preferences over summaries and that APRIL outperforms the state-of-the-art preference-based interactive method in both simulation and real-user experiments.

연구 동기 및 목표

• 사용자가 인터랙티브 요약 환경에서 요약에 대해 신뢰성 있게 선호도 피드백을 제공할 수 있는지 조사하는 것.
• 요약과 같은 주관적인 작업에서 선호 기반 학습의 높은 샘플 복잡도 문제를 해결하는 것.
• 고품질의 사용자 맞춤형 요약을 생성하기 위해 필요한 사용자 상호작용 횟수를 줄이는 것.
• 사용자 선호도를 효율적으로 학습하고 이를 요약 생성을 안내하는 데 사용하는 프레임워크를 개발하는 것.
• 모의 및 실제 사용자 환경에서의 프레임워크 평가를 통해 내구성과 사용성 확보

제안 방법

• APRIL은 인터랙티브 학습 과정을 두 단계로 나눈다: 선호 학습 및 강화 학습.
• 활성 선호 학습(APL)을 사용해 각 선호도 피드백에서 정보 수확을 극대화하며 효율적으로 사용자에게 질의한다.
• 선호 학습 모델은 이진 비교를 기반으로 후보 요약에 대한 사용자의 순위를 추정한다.
• 신경 강화 학습 에이전트는 학습된 보상 함수를 사용해 근사 최적의 요약을 탐색한다.
• 모의 사용자 모델(LNO)은 실제 사용자 연구 데이터를 기반으로 하여 시뮬레이션에서 결과를 검증한다.
• 표준 다중 문서 요약 벤치마크를 대상으로 시뮬레이션 및 실제 사용자 실험을 통해 시스템을 평가한다.

실험 결과

연구 질문

• RQ1 사용자가 인터랙티브 요약 환경에서 요약에 대해 신뢰성 있고 일관되게 선호도 피드백을 제공할 수 있는가?
• RQ2 선호도 피드백의 품질이 절대 평가나 바이그램과 같은 다른 피드백 유형과 비교해 어떻게 되는가?
• RQ3 선호 기반 인터랙티브 시스템이 요약 품질을 유지하거나 향상시키면서도 필요한 상호작용 횟수를 줄일 수 있는가?
• RQ4 제안된 APRIL 프레임워크는 요약 품질과 사용자 상호작용 비용 측면에서 최신 기술인 SPPI 방법과 어떻게 비교되는가?
• RQ5 모의 사용자 모델(LNO)이 실제 사용자 선호도를 얼마나 정확히 반영하는가?

주요 결과

• 사용자들은 요약 간 품질 차이가 클 경우, 바이그램과 같은 다른 피드백 유형에 비해 선호 기반 피드백이 더 쉽고 더 신뢰성 있게 느꼈다.
• 실제 사용자 실험에서 APRIL이 생성한 요약은 82%의 경우(d100e)와 75%의 경우(d068f)에서 사용자에게 선호되었으며, 이는 SPPI를 크게 앞서는 결과였다.
• 클러스터 d100e에서 APRIL의 평균 요약 품질 평가는 5점 척도 기준 4.0이었고, SPPI는 2.5였으며, 통계적으로 유의미한 우월성이 입증되었다.
• 모의 사용자 모델(LNO)은 실제 사용자 선호도와 높은 피어슨 상관관계(0.974, p = 0.145)를 보였으며, 이는 시뮬레이션에서의 활용 타당성을 검증한 것이다.
• 단지 10회의 상호작용 라운드만으로도 APRIL은 비상호작용 방법과 SPPI 기준선보다 더 높은 품질의 요약을 생성하였다.
• APRIL은 SPPI 대비 사용자 독서 부담을 거의 반으로 줄였으며, N회의 상호작용 라운드당 N+1개의 요약만 필요로 했고, SPPI는 2N개가 필요로 했다.