[논문 리뷰] Toward Extractive Summarization of Online Forum Discussions via Hierarchical Attention Networks

Sansiri Tarnpradab, Fei Liu외 1명|arXiv (Cornell University)|2018. 05. 25.

Topic Modeling인용 수 14

한 줄 요약

이 논문은 온라인 포럼 스레드의 감독형 추출 요약을 위해 계층적 어텐션 네트워크(HAN)를 사용하여 단어와 문장 수준에서 어텐션 메커니즘을 통해 문장 및 스레드 표현을 학습하는 방법을 제안한다. 이 방법은 새로 구성된 600개의 포럼 스레드로 구성된 데이터셋에서 ROUGE 및 문장 수준 메트릭에서 여러 베이스라인을 능가하며, 재중복 제거가 상태최고성능(SOTA) 달성에 핵심적이다.

ABSTRACT

Forum threads are lengthy and rich in content. Concise thread summaries will benefit both newcomers seeking information and those who participate in the discussion. Few studies, however, have examined the task of forum thread summarization. In this work we make the first attempt to adapt the hierarchical attention networks for thread summarization. The model draws on the recent development of neural attention mechanisms to build sentence and thread representations and use them for summarization. Our results indicate that the proposed approach can outperform a range of competitive baselines. Further, a redundancy removal step is crucial for achieving outstanding results.

연구 동기 및 목표

• 제한된 애너테이션된 데이터로 인해 포럼 스레드 요약을 위한 감독형 접근법이 부족한 데 대비하기 위해.
• 계층적 어텐션 네트워크(HAN)를 적응시켜 추출 요약을 위한 문장 수준 및 스레드 수준 표현을 모델링하기 위해.
• 스레드의 요약과 가장 관련성이 높은 문장을 예측할 수 있도록 학습하는 감독형 프레임워크를 개발하기 위해.
• 재중복 제거가 요약 품질 향상에 미치는 영향을 평가하기 위해.
• 미래의 연구를 위해 인간이 생성한 요약이 포함된 600개의 포럼 스레드로 구성된 새로운 애너테이션된 데이터셋을 구축하고 공개하기 위해.

제안 방법

• 모델은 각 문장을 밀도 높은 벡터로 인코딩하기 위해 양방향 LSTM과 단어 수준 어텐션을 사용하며, 주요 단어에 집중한다.
• 문장 수준 표현은 문장 수준 어텐션 메커니즘을 통해 조합되어 스레드 수준 표현을 형성한다.
• 학습된 스레드 표현을 사용하여 최종 분류층이 각 문장이 요약에 포함되어야 하는지 예측한다.
• 교차 엔트로피 손실과 RMSProp 최적화, 드롭아웃 정규화를 사용하여 엔드 투 엔드로 모델을 훈련시킨다.
• 최종 요약에서 중복되거나 유사한 문장을 제거하기 위해 사후 처리 단계에서 재중복 제거를 적용한다.
• ROUGE 및 문장 수준 F1 스코어를 사용하여 비감독(예: LexRank, MEAD) 및 감독(예: SVM, LogReg) 베이스라인과 모델을 비교한다.

실험 결과

연구 질문

• RQ1 계층적 어텐션 네트워크는 포럼 스레드의 구조를 효과적으로 모델링하여 추출 요약 성능을 향상시킬 수 있는가?
• RQ2 제안된 HAN 기반 접근법은 기존의 비감독 및 감독 요약 방법과 비교해 포럼 스레드에서 어떻게 성능을 내는가?
• RQ3 재중복 제거가 감독형 모델의 요약 성능에 어떤 영향을 미치는가?
• RQ4 관련 작업에서 HAN 모델을 미사전학습시키면 요약 성능 향상에 기여하는가?
• RQ5 600개의 소규모 수동 애너테이션된 데이터셋이 효과적인 감독형 요약을 지원하는 데 얼마나 기여하는가?

주요 결과

• HAN 모델은 ROUGE-1 및 ROUGE-2 스코어에서 모든 비감독 베이스라인과 감독형 SVM 및 LogReg 모델을 능가한다.
• 기존 방법보다 높은 정밀도를 기록하여 관련성이 높은 문장을 더 잘 선택하는 것으로 나타났다.
• 재중복 제거가 ROUGE 및 문장 수준 F1 스코어의 재현율을 크게 향상시켰으며, 특히 HAN 기반 모델에서 두드러진다.
• LogReg에 재중복 제거를 적용했을 경우 이득이 미미한 것으로 나타나, HAN는 어텐션 기반 문장 선택 덕분에 이 단계에서 더 큰 이점을 얻는다.
• HAN 모델을 관련 작업에서 미사전학습시키는 것은 성능 향상에 기여하지 않았으며, 데이터 부족과 작업 불일치로 인한 것으로 보인다.
• HAN 모델은 감독형 방법 중에서 상태최고성능(SOTA) 성능을 달성했으며, ROUGE 스코어에서 MEAD만이 이에 뒤지지 않는 유일한 베이스라인이다.