[논문 리뷰] RefNet: A Reference-aware Network for Background Based Conversation

Chuan Meng, Pengjie Ren외 4명|arXiv (Cornell University)|2019. 08. 18.

Topic Modeling참고 문헌 50인용 수 7

한 줄 요약

RefNet는 배경 기반 대화를 위한 새로운 참조 인식 네트워크를 제안하며, 배경에서 의미 단위를 직접 선택하는 참조 디코딩과 토큰 단위로 응답을 생성하는 생성 디코딩을 가용 가능한 디코딩 스위처를 통해 결합한다. 유연한 스위처를 통해 정보성 스펙트럼을 추출하거나 유창한 응답을 생성하는 것을 동적으로 선택함으로써, RefNet는 자동 평가 및 인간 평가 모두에서 최신 기술을 크게 능가하며, 더 유창하고 관련성이 높은 응답을 생성한다.

ABSTRACT

Existing conversational systems tend to generate generic responses. Recently, Background Based Conversations (BBCs) have been introduced to address this issue. Here, the generated responses are grounded in some background information. The proposed methods for BBCs are able to generate more informative responses, they either cannot generate natural responses or have difficulty in locating the right background information. In this paper, we propose a Reference-aware Network (RefNet) to address the two issues. Unlike existing methods that generate responses token by token, RefNet incorporates a novel reference decoder that provides an alternative way to learn to directly cite a semantic unit (e.g., a span containing complete semantic information) from the background. Experimental results show that RefNet significantly outperforms state-of-the-art methods in terms of both automatic and human evaluations, indicating that RefNet can generate more appropriate and human-like responses.

연구 동기 및 목표

• 기존의 배경 기반 대화 모델이 배경 텍스트에서 관련 있는 의미 단위를 찾지 못하거나 일반적인 응답을 생성하는 등의 한계를 해결하기 위해.
• 추출 기반 및 생성 기반 방법의 장점을 통합하여, 배경 텍스트에서 관련 있는 스펙트럼을 정확히 선택하고, 응답 생성에서의 자연스러움을 확보하는 단일 통합 아키텍처를 설계하기 위해.
• 각 단계에서 참조 디코딩과 생성 디코딩 사이를 적응적으로 선택할 수 있는 디코딩 스위처를 설계하며, 지도 학습 기반의 스위처 손실에 의해 이끌어지게 하기 위해.
• 배경 텍스트에서 완전한 의미 단위를 직접 선택함으로써 응답의 분할을 줄이고 사실 기반의 정확성을 향상시키기 위해.

제안 방법

• RefNet는 배경 및 대화 기록의 맥락 표현을 생성하기 위해 배경 인코더와 맥락 인코더를 사용한다.
• 디코딩 스위처 모듈은 각 디코딩 단계에서 참조 디코딩(배경에서 의미 스펙트럼 선택) 또는 생성 디코딩(어휘에서 토큰 예측 또는 배경에서 복사)을 수행할지 결정한다.
• 하이브리드 디코더는 두 디코딩 방식을 모두 구현한다: 참조 디코딩은 포인터 메커니즘을 사용해 배경에서 완전한 의미 단위를 선택하고, 생성 디코딩은 표준 자동회귀 디코더를 사용한다.
• 스위처는 지도 학습 손실을 통해 학습되며, 지도 기반 결정에 기반해 올바른 디코딩 모드 선택을 장려함으로써 맥락과 배경 간의 일치를 향상시킨다.
• 모델은 맥락에 기반해 배경 표현을 정교화하기 위한 매칭 레이어를 사용하며, 배경 및 맥락의 은닉 상태를 함께 사용해 디코딩 상태를 초기화한다.
• 이 아키텍처는 엔드 투 엔드로 학습 가능하며, 경계가 주석 처리된 의미 단위를 활용해 지도 기반 참조 디코딩을 수행한다.

실험 결과

연구 질문

• RQ1 통합 모델이 배경 기반 대화에서 추출 기반과 생성 기반 응답 생성의 장점을 효과적으로 융합할 수 있는가?
• RQ2 참조 모드와 생성 모드 사이를 선택하는 가용 가능한 디코딩 스위처가 고정 또는 히우리스틱 전략에 비해 응답 품질을 향상시키는가?
• RQ3 배경 텍스트에서 완전한 의미 단위를 직접 선택함으로써 응답의 분할을 줄이고 사실 정확성을 향상시킬 수 있는가?
• RQ4 지도 기반 스위처 손실이 각 단계에서 최적의 디코딩 전략을 선택하는 데 모델의 능력에 어떤 영향을 미치는가?

주요 결과

• RefNet는 자동 평가 및 인간 평가 지표에서 최신 기술을 크게 능가하며, 혼합-짧은 배경 버전에서 ROUGE-L 점수 48.46, F1 점수 48.46을 기록했다.
• 참조 디코딩과 생성 디코딩의 조합은 각각 단독으로 사용할 경우보다 우수한 성능을 보이며, 상호 보완적인 이점을 입증했다.
• 스위처 손실은 모든 지표에서 성능 향상을 이끌었으며, 특히 F1(+6.31점)과 ROUGE-L(+5.86점)에서 뚜렷한 향상을 보이며 관련 있는 의미 단위의 선택 능력을 향상시켰다.
• 사례 연구 결과, RefNet는 배경 텍스트에서 완전한 의미 단위(예: "$279,167,575")를 정확히 식별하고 활용하여 QANet이나 CaKe보다 더 자연스럽고 정보가 풍부한 응답을 생성하는 것으로 나타났다.
• 다른 개선점에도 불구하고, RefNet는 종종 짧거나 의미 없는 단위(예: "i", "it")를 선택하는 경우가 있어 참조 디코딩 기준의 향상 여지가 있음을 시사한다.
• 모델는 높은 인간 평가 결과를 기록하여, 존재하는 방법보다 더 적절하고 인간다운 응답을 생성할 수 있음을 확인했다.