[논문 리뷰] A Context-Aware Feature Fusion Framework for Punctuation Restoration

Yangjun Wu, Kebin Fang외 1명|arXiv (Cornell University)|2022. 03. 23.

Natural Language Processing Techniques인용 수 8

한 줄 요약

이 논문은 자동 음성 인식에서 구두점 복원을 향상시키기 위해 두 개의 스트림을 갖춘 문맥 인식 특징 융합 프레임워크(FFA)를 제안한다. 이는 상호 작용 어텐션을 통한 특징 공유를 향상시키는 상호 헤드 상호작용 어텐션과 왼쪽 문맥 의존성을 우선시하는 마스크된 자기어텐션을 포함한 이중 어텐션 메커니즘을 도입한다. 외부 데이터나 데이터 증강 없이도 IWSLT 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하여 F1 점수 및 재현율과 같은 핵심 지표에서 이전 방법들을 능가한다.

ABSTRACT

To accomplish the punctuation restoration task, most existing approaches focused on leveraging extra information (e.g., part-of-speech tags) or addressing the class imbalance problem. Recent works have widely applied the transformer-based language models and significantly improved their effectiveness. To the best of our knowledge, an inherent issue has remained neglected: the attention of individual heads in the transformer will be diluted or powerless while feeding the long non-punctuation utterances. Since those previous contexts, not the followings, are comparatively more valuable to the current position, it's hard to achieve a good balance by independent attention. In this paper, we propose a novel Feature Fusion framework based on two-type Attentions (FFA) to alleviate the shortage. It introduces a two-stream architecture. One module involves interaction between attention heads to encourage the communication, and another masked attention module captures the dependent feature representation. Then, it aggregates two feature embeddings to fuse information and enhances context-awareness. The experiments on the popular benchmark dataset IWSLT demonstrate that our approach is effective. Without additional data, it obtains comparable performance to the current state-of-the-art models.

연구 동기 및 목표

• 표준 트랜스포머 자기어텐션의 한계를 해결하기 위해, 구두점이 없는 장문의 시퀀스에서 랭크가 낮은 병목 현상으로 인해 어휘 용량이 감소하는 문제를 다루기 위함.
• 상호 헤드 통신과 왼쪽 문맥 우선순위를 통한 특징 표현 향상으로 구두점 복원에서 문맥 인식 능력을 향상시키기 위함.
• 외부 지식이나 데이터 증강에 의존하지 않고 학습 데이터만을 활용하는 특징 융합 프레임워크를 개발하기 위함.
• 트랜스포머 아키텍처의 개선이 추가 데이터나 외부 특징 없이도 경쟁 가능한 성능을 달성할 수 있음을 입증하기 위함.

제안 방법

• FFA는 이중 스트림 아키텍처를 사용한다: 하나의 스트림은 가중치가 학습 가능한 상호작용 행렬을 통해 어텐션 헤드 간 지식 공유를 가능하게 하는 상호작용 자기어텐션(ISA)을 사용한다.
• 두 번째 스트림은 주의 계산 중 미래 토큰을 마스킹함으로써 왼쪽 문맥 표현을 강조하는 마스크된 자기어텐션(MSA)을 사용한다.
• ISA와 MSA에서 유도된 특징 임베딩은 가중치가 학습 가능한 융합 레이어를 통해 상호 헤드 지식과 문맥 인식 표현을 융합한다.
• 프리트레인된 언어 모델(예: Funnel-Transformer 또는 BART)을 사용해 초기 토큰 임베딩을 생성하고, 이에 이중어텐션 모듈과 토큰 수준의 구두점 태깅을 위한 분류 헤드를 추가한다.
• 모델은 조기 정지, 드롭아웃(0.2), R-Drop 정규화를 사용해 강건성과 일반화 능력을 향상시켜 훈련한다.
• 융합 레이어는 이중 스트림 출력을 가중치가 학습 가능한 변환을 통해 조합하여 최종적인 문맥 표현을 생성한다.

실험 결과

연구 질문

• RQ1 트랜스포머에서 상호 헤드 어텐션 상호작용이 장문의 시퀀스에서 특징 표현 용량을 향상시키고 랭크가 낮은 병목 현상을 완화할 수 있는가?
• RQ2 마스크된 자기어텐션을 통해 왼쪽 문맥을 우선순위에 두면, 과거 문맥이 더 유용한 구두점 복원 작업에서 성능 향상이 이루어지는가?
• RQ3 외부 데이터나 특징에 의존하지 않는 문맥 인식 특징 융합 프레임워크가 최신 기술 수준 성능을 달성할 수 있는가?
• RQ4 표준 다중 헤드 어텐션에 비해 제안된 이중 스트림 어텐션 메커니즘이 구두점 복원 작업에서 얼마나 효과적인가?

주요 결과

• FFA는 IWSLT 벤치마크에서 가장 높은 F1 점수를 기록했으며, 데이터 증강 없이도 RoBERTa-large+augmentation와 같은 최신 기술 수준 모델보다 재현율에서 3.1 포인트 높은 성능을 보였다.
• 모델은 총 F1 점수 84.2%를 기록했으며, 정밀도 86.1%와 재현율 85.2%를 확보하여 모든 지표에서 뛰어난 성능를 보였다.
• 제거 실험 결과, 상호작용 자기어텐션(ISA) 모듈을 제거하면 F1 점수 3% 감소하여 그 중요성을 확인했다.
• 마스크된 자기어텐션(MSA) 모듈도 크게 기여했으며, 제거 시 F1 점수 1.7% 감소하여 왼쪽 문맥 집중의 중요성을 입증했다.
• 상호작용 메커니즘을 표준 다중 헤드 어텐션으로 대체하면 F1 점수 0.4 포인트 감소하여 제안된 상호 헤드 상호작용 설계의 효과성을 입증했다.
• 융합 레이어와 R-Drop 정규화는 강건성을 향상시켰으며, R-Drop를 제거하면 F1 점수 0.2 포인트 감소했다.