[논문 리뷰] Argument Generation with Retrieval, Planning, and Realization

Xinyu Hua, Zhe Hu외 1명|arXiv (Cornell University)|2019. 06. 09.

Topic Modeling참고 문헌 40인용 수 5

한 줄 요약

이 논문은 검색 증강 생성과 텍스트 기획 및 콘텐츠 실현을 조합하여 일관되고 콘텐츠가 풍부한 반론을 생성하는 두 단계 신경 프레임워크인 CANDELA를 제안한다. 이 프레임워크는 1,200만 건의 다양한 기사에서 검색을 통해 강력한 일관성과 스타일 제어를 유지하면서도, 자동 평가 및 인간 평가에서 최신 기술 모델들을 능가하여 이전 시스템보다 더 풍부한 콘텐츠와 더 높은 유창성을 가진 반론을 생성한다.

ABSTRACT

Automatic argument generation is an appealing but challenging task. In this paper, we study the specific problem of counter-argument generation, and present a novel framework, CANDELA. It consists of a powerful retrieval system and a novel two-step generation model, where a text planning decoder first decides on the main talking points and a proper language style for each sentence, then a content realization decoder reflects the decisions and constructs an informative paragraph-level argument. Furthermore, our generation model is empowered by a retrieval system indexed with 12 million articles collected from Wikipedia and popular English news media, which provides access to high-quality content with diversity. Automatic evaluation on a large-scale dataset collected from Reddit shows that our model yields significantly higher BLEU, ROUGE, and METEOR scores than the state-of-the-art and non-trivial comparisons. Human evaluation further indicates that our system arguments are more appropriate for refutation and richer in content.

연구 동기 및 목표

• 모순적인 진술에 대해 일관되고 정보가 풍부하며 스타일적으로 적절한 단락 수준의 반론을 생성하는 데 도전하는 것.
• 기존의 검색 기반 방법이 문장 간 연결성이 떨어지고 분리된 문장을 생성하는 문제를 해결하기 위해, 구조화된 콘텐츠 기획과 실현을 도입하는 것.
• 다양하고 고품질의 자료(예: 위키백과 및 뉴스 미디어 포함)를 생성 과정에 통합하여 반론 품질을 향상시키는 것.
• 기획 단계에서 문장 수준의 스타일 예측을 통해 반론 기능(예: 양보, 대비)에 대한 제어를 가능하게 하는 것.
• 기존 자동 시스템보다 반론에 더 적합하고 더 풍부한 콘텐츠를 제공하는 반론을 생성하는 것. 인간 평가를 통해 이를 검증한다.

제안 방법

• CANDELA는 두 디코더 아키텍처를 사용한다: 각 문장에 대해 반론 기능(예: 양보, 대비 등)을 할당하고 핵심 논점들을 선택하는 텍스트 기획 디코더.
• 콘텐츠 실현 디코더는 기획 결정에 기반하여 자연스럽고 일관된 반론을 생성하여 논리적 흐름과 언어적 품질을 보장한다.
• 1,200만 건의 위키백과 및 주요 영어 뉴스 출판사 기사에서 인덱싱된 검색 시스템으로 모델을 보강하여 다양한 고품질의 사실 및 의견 기반 증거를 제공한다.
• 검색된 문장의 关련어구(Keyphrases)는 기억 메모리로 사용되어 콘텐츠 선택과 기획을 안내하며, 사실적 관련성과 다양성을 향상시킨다.
• 기획 디코더에서는 콘텐츠 선택, 순서 정렬, 스타일 선택을 동시에 최적화하기 위해 다중 목적 함수를 사용한다.
• 학습 및 평가는 대규모 레딧 데이터셋(반론 및 반론 쌍)을 기반으로 수행되어 최신 기술 기준 모델과의 강력한 비교가 가능하다.

실험 결과

연구 질문

• RQ1 검색 증강 기반의 두 단계 신경 생성 프레임워크는 기존 방법보다 더 일관되고 콘텐츠가 풍부한 반론을 생성할 수 있는가?
• RQ2 명시적인 텍스트 기획이 생성된 반론의 일관성과 반론적 구조에 얼마나 기여하는가?
• RQ3 위키백과를 초월한 다양한 고품질 자료를 통합할 경우, 생성된 반론의 사실 정확성과 설득력은 어떻게 향상되는가?
• RQ4 모델은 설득력 향상과 반론적 기능 강화를 위해 효과적으로 스타일 언어(예: 양보, 대비)를 제어할 수 있는가?
• RQ5 제안된 모델의 성능은 인간이 작성한 반론과 비교해 볼 때 관련성, 콘텐츠 풍부함, 유창성 측면에서 어떻게 평가되는가?

주요 결과

• 자동 평가에서 CANDELA는 이전 모델과 비현실적인 베이스라인을 크게 능가하여 BLEU, ROUGE, METEOR 점수 모두 높은 수준을 기록했다.
• 인간 평가에서 CANDELA가 생성한 반론은 경쟁 시스템의 반론보다 반론에 더 적합하고 콘텐츠가 더 풍부한 것으로 평가되었다.
• 인간 평가의 39.2%에서 CANDELA의 반론이 인간 편집된 콘텐츠보다 선호되었으며, Seq2seqAug(34.2%)와 이전 모델(13.3%)을 모두 능가했다.
• 모델은 다양한 자료를 성공적으로 통합하고 관련어구 메모리를 활용하여 기획을 안내하여, '아이를 돌보는 것'이나 '유급 출산 휴가'와 같은 여러 관련 논점들을 다루는 반론을 생성했다.
• 개선된 성능에도 불구하고, 모델은 부정어의 과도한 사용과 복잡한 반론 구조 처리에 어려움을 겪어 스타일 제어 및 논리적 기획 측면에서 향상 여지가 있음을 보여주었다.
• 예시 출력 결과는 CANDELA가 기준 모델보다 더 일관된 반론을 생성하는 것으로 나타났으며, 기준 모델은 종종 반복, 환각 또는 비일관성 문제를 야기한다.