[논문 리뷰] Improving Conditioning in Context-Aware Sequence to Sequence Models

Xinyi Wang, Jason Weston외 2명|arXiv (Cornell University)|2019. 11. 21.

Topic Modeling참고 문헌 24인용 수 9

한 줄 요약

이 논문은 디코딩 중에 소스 쿼리와 장기적 맥락에 대한 조건부 처리를 향상시키기 위해 소스 및 맥락 어텐션을 번갈아가며 사용하는 새로운 시퀀스-투-시퀀스 모델 아키텍처를 제안한다. 동시에 훈련을 향상시키기 위한 데이터 증강 기법을 도입한다. 이 방법은 문서 수준 번역, 장문의 질의 응답, 지식 기반 대화와 같은 세 가지 맥락 인식 작업 전반에서 일관된 성능 향상을 이룬다. 이는 더 나은 입력 모odal 간의 활용도와 낮은 역방향 퍼즐러비티를 통해 검증된다.

ABSTRACT

Neural sequence to sequence models are well established for applications which can be cast as mapping a single input sequence into a single output sequence. In this work, we focus on cases where generation is conditioned on both a short query and a long context, such as abstractive question answering or document-level translation. We modify the standard sequence-to-sequence approach to make better use of both the query and the context by expanding the conditioning mechanism to intertwine query and context attention. We also introduce a simple and efficient data augmentation method for the proposed model. Experiments on three different tasks show that both changes lead to consistent improvements.

연구 동기 및 목표

• 짧은 소스 쿼리와 장기적 맥락 문서에 동시에 조건부로 작동하는 시퀀스-투-시퀀스 생성의 효과적인 해결을 위한 도전 과제를 다루기 위해.
• 개념 요약 질의 응답, 문서 수준 번역, 지식 기반 대화와 같은 맥락 인식 작업에서의 모델 성능 향상을 위해.
• 디코딩 중에 소스 및 맥락 시퀀스에서 온 정보를 더 잘 통합하고 활용할 수 있도록 하는 모델 아키텍처를 설계하기 위해.
• 모델 아키텍처를 활용하여 일반화 및 훈련 효율성을 향상시키는 데이터 증강 전략을 개발하기 위해.

제안 방법

• 모델은 소스와 맥락에 대해 별도의 인코더를 사용하여 두 모odal 간의 크로스 어텐션을 방지함으로써 모달리티 분리를 강제한다.
• 디코딩 중에 소스와 맥락에 각각 어텐션을 번갈아가며 적용하는 인터리브드 어텐션 메커니즘을 통해 두 입력 간의 동적 상호작용을 가능하게 한다.
• 맥락 인코더에 소프트 국소화 어텐션 윈도우를 적용하여 장거리 의존성을 제한함으로써 정규화 역할을 하는 인덕티브 바이어스로 작용한다.
• 맥락과 소스 시퀀스를 교환하거나 재정렬하여 합성 훈련 예제를 생성하는 데이터 증강 기법을 도입함으로써 모델의 강건성과 일반화 능력을 향상시킨다.
• 표준 크로스 엔트로피 손실을 사용해 엔드 투 엔드로 모델을 훈련시키며, 평가에는 역방향 퍼즐러비티 및 맥락 사용 비율과 같은 지표를 사용한다.
• 모델은 표준 벤치마크를 사용하여 세 가지 작업—문서 수준 NMT, 장문의 QA, 지식 기반 대화—에서 평가된다.

실험 결과

연구 질문

• RQ1 짧은 소스 쿼리와 장기적 맥락 문서에 동시에 조건부로 작동하는 시퀀스-투-시퀀스 모델을 어떻게 개선할 수 있는가?
• RQ2 디코딩 중에 소스 및 맥락 정보를 더 효과적으로 통합하기 위해 어떤 아키텍처 수정이 필요한가?
• RQ3 소스와 맥락 간의 인터리브드 어텐션은 순차적 또는 연결된 어텐션 메커니즘과 비교해 성능 및 맥락 활용도 측면에서 어떻게 다를까?
• RQ4 제안된 데이터 증강 전략이 다양한 맥락 인식 작업 전반에서 모델의 일반화 및 강건성 향상에 어느 정도 기여하는가?
• RQ5 국소화 어텐션 및 크로스 어텐션 금지와 같은 아키텍처 제약 조건이 모델 성능 및 어텐션 패턴에 어떤 영향을 미치는가?

주요 결과

• 제안된 인터리브드 어텐션 모델은 모든 세 가지 작업에서 순차적 및 다중 태스크 기준 모델을 능가하며, 낮은 역방향 퍼즐러비티와 높은 맥락 사용도를 기록한다.
• ELI5 데이터셋에서 모델은 맥락 사용 비율(U_ctx)을 82.3%로 기록하여 순차적 기준 모델(69.1%)과 다중 태스크 기준 모델(74.5%)을 크게 앞서며 성능을 끌어올렸다.
• ELI5 데이터셋에서 순차적 기준 모델 대비 맥락 사용도가 12.2%p 상승하여 관련 맥락 정보의 더 나은 활용도를 보였다.
• 정성적 분석 결과, 모델은 더 유창하고 맥락에 기반한 응답을 생성함을 확인했으며, 예를 들어 문서 수준 번역에서 맥락적 단서를 활용해 'là'를 '그러자'로 올바르게 해석하는 등 효과적인 맥락 활용이 가능했다.
• 어텐션 분석 결과, 국소화 어텐션 및 크로스 어텐션 금지와 같은 아키텍처 제약 조건이 유용한 인덕티브 바이어스로 작용하여 장거리 의존성에 대한 의존도를 줄였지만 성능에 악영향을 주지 않았다.
• 데이터 증강 방법은 훈련 중 다양한 소스-맥락 순열에 노출시킴으로써, 특히 자원이 제한된 환경에서 모델의 일반화 능력을 향상시켰다.