[논문 리뷰] Time-aware Large Kernel Convolutions

Vasileios Lioutas, Yuhong Guo|arXiv (Cornell University)|2020. 02. 08.

Generative Adversarial Networks and Image Synthesis참고 문헌 55인용 수 16

한 줄 요약

이 논문은 시간에 따라 적응하는 커널 크기를 학습하는 새로운 적응형 컨볼루션 방법인 Time-aware Large Kernel (TaLK) 컨볼루션을 소개한다. 이 방법은 병렬 프리픽스 합을 통해 합산 영역 표를 활용하여 선형 시간 복잡도 O(n)을 달성한다. 이 방법은 자기주의성(self-attention)과 동적 컨볼루션보다 빠르고 메모리 효율적이며, 기계 번역, 요약 생성, 언어 모델링 벤치마크에서 최신 기술 수준의 성능을 유지하거나 초월한다.

ABSTRACT

To date, most state-of-the-art sequence modeling architectures use attention to build generative models for language based tasks. Some of these models use all the available sequence tokens to generate an attention distribution which results in time complexity of $O(n^2)$. Alternatively, they utilize depthwise convolutions with softmax normalized kernels of size $k$ acting as a limited-window self-attention, resulting in time complexity of $O(k{\cdot}n)$. In this paper, we introduce Time-aware Large Kernel (TaLK) Convolutions, a novel adaptive convolution operation that learns to predict the size of a summation kernel instead of using a fixed-sized kernel matrix. This method yields a time complexity of $O(n)$, effectively making the sequence encoding process linear to the number of tokens. We evaluate the proposed method on large-scale standard machine translation, abstractive summarization and language modeling datasets and show that TaLK Convolutions constitute an efficient improvement over other attention/convolution based approaches.

연구 동기 및 목표

• 시퀀스 모델링에서 자기주의성 메커니즘의 이차 시간 복잡도 O(n²) 문제를 해결하기 위해.
• 긴 시퀀스 모델링에서 계산 및 메모리 오버헤드를 줄이면서도 강력한 성능을 유지하기 위해.
• 변환기와 동적 컨볼루션의 대안으로 비자율적이고 주목성 없는 선형 시간 복잡도를 가진 방법을 개발하기 위해.
• 효율적인 커널 크기 예측과 합산 영역 표 계산을 통해 긴 시퀀스에서 더 빠른 추론과 훈련을 가능하게 하기 위해.
• 파rameter 수와 메모리 프로파일을 최소화하면서도 표준 NLP 벤치마크에서 경쟁력 있거나 뛰어난 성능을 달성하기 위해.

제안 방법

• 모든 타임스텝에 대해 고정된 커널 가중치를 학습하는 대신, 왼쪽 및 오른쪽 커널 오프셋을 예측하는 적응형 컨볼루션을 도입한다.
• 각 토큰당 유효한 컨텍스트 창 크기를 예측하는 학습 가능한 함수를 사용하여 가변적인 수신 필드를 가능하게 한다.
• 병렬 프리픽스 합을 통해 O(log n) 시간에 사전에 합산 영역 표(적분 이미지)를 계산하여, 임의의 토큰 스팬에 대한 O(1) 범위 합 질의를 가능하게 한다.
• 사전에 계산된 합산 영역 표를 사용하여 선택된 컨텍스트 창에 대한 가중치 합으로 최종 표현을 계산한다.
• 훈련 안정성과 고정된 커널 크기로의 과적합 방지를 위해 예측된 오프셋에 출력 정규화와 드롭아웃을 적용한다.
• 각 차원이 독립적인 오프셋 예측을 학습할 수 있도록 다중 헤드 주목성 유사 헤드(최대 H=512)를 사용하며, 성능 향상을 위해 후처리로 H=4로 감소시킨다.

실험 결과

연구 질문

• RQ1 컨볼루션 방법이 경쟁력 있는 성능을 유지하면서도 선형 시간 복잡도 O(n)을 달성할 수 있는가?
• RQ2 고정 커널 대신 동적 커널 경계를 학습함으로써 모델링 효율성 향상과 장거리 의존성 포착이 가능할 수 있는가?
• RQ3 병렬 프리픽스 합을 사용한 합산 영역 표 사용이 주목성 또는 동적 컨볼루션보다 더 빠르고 메모리 효율적인 시퀀스 인코딩을 가능하게 하는가?
• RQ4 표준 NLP 벤치마크에서 자기주의성 및 동적 컨볼루션과 비교해 본다면, 제안된 방법은 속도, 메모리 사용량, 성능 측면에서 어떻게 다른가?
• RQ5 훈련 안정성 향상과 성능 향상에 가장 효과적인 하이퍼파라미터 선택(예: 헤드 수, 정규화, 드롭아웃)은 무엇인가?

주요 결과

• TaLK 컨볼루션 방법은 O(n) 시간 복잡도를 달성하여 자기주의성의 O(n²) 복잡도와 동적 컨볼루션의 O(k·n) 복잡도보다 훨씬 빠르다.
• 시퀀스 길이 n=10,000일 경우, 자기주의성은 메모리가 부족해 실패했지만, TaLK 컨볼루션은 성공적으로 시퀀스를 처리했다.
• IWSLT De-En 번역 벤치마크에서 TaLK 컨볼루션은 새로운 최고 성능 BLEU 점수를 기록했으며, 이전 방법들을 모두 능가했다.
• CNN-DailyMail 요약 데이터셋에서 TaLK 컨볼루션은 새로운 최고 성능 ROUGE-L 점수를 기록하여 강력한 개괄적 요약 능력을 입증했다.
• WikiText-103 언어 모델링 벤치마크에서 TaLK 컨볼루션은 동적 컨볼루션을 능가했고, 자기주의성 모델의 성능을 따라했다.
• 자기주의성 대비 최대 4.5배 메모리 사용량을 줄였으며, 특히 긴 시퀀스에서 높은 처리량을 보였다.