[논문 리뷰] Conditional Self-Attention for Query-based Summarization

Yujia Xie, Tianyi Zhou외 2명|arXiv (Cornell University)|2020. 02. 18.

Topic Modeling참고 문헌 28인용 수 15

한 줄 요약

이 논문은 조건부 자기주의(Conditional Self-Attention, CSA)를 제안하며, 쿼리에 따라 쌍별 토큰 상호작용을 조건화시켜 더 관련성이 높은 문맥 표현을 가능하게 하는 새로운 신경 모듈이다. CSA는 쿼리에 대한 관련성에 따라 토큰의 가중치를 동적으로 조정함으로써 쿼리 기반 요약을 향상시키며, 추출적 및 개괄적 요약 작업 모두에서 Debatepedia 및 HotpotQA 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Self-attention mechanisms have achieved great success on a variety of NLP tasks due to its flexibility of capturing dependency between arbitrary positions in a sequence. For problems such as query-based summarization (Qsumm) and knowledge graph reasoning where each input sequence is associated with an extra query, explicitly modeling such conditional contextual dependencies can lead to a more accurate solution, which however cannot be captured by existing self-attention mechanisms. In this paper, we propose extit{conditional self-attention} (CSA), a neural network module designed for conditional dependency modeling. CSA works by adjusting the pairwise attention between input tokens in a self-attention module with the matching score of the inputs to the given query. Thereby, the contextual dependencies modeled by CSA will be highly relevant to the query. We further studied variants of CSA defined by different types of attention. Experiments on Debatepedia and HotpotQA benchmark datasets show CSA consistently outperforms vanilla Transformer and previous models for the Qsumm problem.

연구 동기 및 목표

• 표준 자기주의가 시퀀스 모델링에서 쿼리 조건부 의존성을 모델링하는 데에 한계가 있음을 해결하기 위해.
• 주어진 쿼리에 상대적인 토큰 간 조건부 의존성을 명시적으로 캡처하여 쿼리 기반 요약(Qsumm)을 향상시키기 위해.
• 별도의 구성 요소가 필요 없이 국소적(쌍별) 및 전역적(쿼리 관련) 의존성을 모두 모델링할 수 있는 통합 모듈을 설계하기 위해.
• 쿼리 인식 주의 메커니즘을 통해 표준 트랜스포머와 이전 모델보다 추출적 및 개괄적 Qsumm 작업에서 승리하기 위해.

제안 방법

• CSA는 자기주의 모듈 내부에 교차주의 메커니즘을 통합하여 쌍별 주의를 쿼리에 따라 조건화한다.
• 다양한 호환성 함수(예: 곱셈형 또는 덧셈형 주의)를 사용하여 각 입력 토큰과 쿼리 간의 호환성 점수를 계산한다.
• 이러한 쿼리에 의존하는 점수를 사용해 입력 토큰을 스케일링한 후 표준 자기주의를 적용함으로써, 주의가 쿼리 관련 콘텐츠 쪽으로 향하도록 유도한다.
• 이 방법은 다수의 주의 변형(예: 곱셈형, 덧셈형)을 지원하며, CSA-Transformer로 트랜스포머 아키텍처에 모듈러하게 통합된다.
• 주어진 쿼리에 따라 주의가 국소적 의존성과 전역적 관련성 간에 동적으로 전환되며, 이는 적응형 문맥 모델링을 가능하게 한다.
• 모델은 추출적 및 개괄적 요약에 맞는 손실 함수를 사용하여 쿼리-패스제-요약 삼중체로 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 외부 쿼리에 따라 조건화된 의존성을 명시적으로 모델링할 수 있도록 자기주의 메커니즘을 향상시킬 수 있는가, 이는 시퀀스 모델링에서의 관련성 향상에 기여하는가?
• RQ2 쿼리 표현에 따라 자기주의를 조건화하면 쿼리 기반 요약 작업에서 성능에 어떤 영향을 미치는가?
• RQ3 별도의 구성 요소가 필요 없이 단일 모듈이 쌍별 및 전역적(쿼리 의존적) 의존성을 효과적으로 캡처할 수 있는가?
• RQ4 CSA-Transformer는 추출적 및 개괄적 쿼리 기반 요약에서 표준 트랜스포머와 이전 최신 기술 수준(SOTA) 모델보다 승리하는가?

주요 결과

• CSA-Transformer는 추출적 및 개괄적 쿼리 기반 요약 모두에서 Debatepedia 및 HotpotQA 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성한다.
• 모델은 표준 트랜스포머와 이전 SOTA 모델을 일관되게 능가하며, 쿼리 조건부 주의의 효과성을 입증한다.
• 시각화 결과는 CSA 주의 점수가 쿼리 관련 스판과 강하게 일치함을 보여주며, 이는 메커니즘이 관련 콘텐츠에 집중할 수 있음을 확인한다.
• 제거 실험(ablation study) 결과 조건부 주의 구성 요소가 핵심임을 확인하였으며, 이를 제거하면 성능이 크게 떨어진다.
• CSA는 국소적 의존성과 전역적 관련성을 효과적으로 캡처하며, 주의 패턴이 쿼리에 따라 동적으로 적응함을 보여준다.
• 이 방법은 곱셈형 및 덧셈형 등 다양한 주의 변형에 대해 잘 일반화되며, 강건성과 유연성을 보여준다.