[논문 리뷰] Area Attention

Yang Li, Łukasz Kaiser외 2명|arXiv (Cornell University)|2018. 10. 23.

Multimodal Machine Learning Applications참고 문헌 9인용 수 4

한 줄 요약

이 논문은 모델이 메모리의 연속적인 영역(공간적 또는 시간적으로 인접한 항목)에 주목할 수 있도록 허용하는 새로운 어텐션 메커니즘인 영역 어텐션을 소개한다. 항목의 일관성에 기반해 동적으로 영역 크기를 학습하고, 합산 영역 표를 활용해 효율적인 계산을 수행함으로써, 추가 파rameter 없이 신경 기계 번역과 이미지 캡션 생성에서 성능을 향상시킨다.

ABSTRACT

Existing attention mechanisms, are mostly item-based in that a model is designed to attend to a single item in a collection of items (the memory). Intuitively, an area in the memory that may contain multiple items can be worth attending to as a whole. We propose area attention: a way to attend to an area of the memory, where each area contains a group of items that are either spatially adjacent when the memory has a 2-dimensional structure, such as images, or temporally adjacent for 1-dimensional memory, such as natural language sentences. Importantly, the size of an area, i.e., the number of items in an area, can vary depending on the learned coherence of the adjacent items. By giving the model the option to attend to an area of items, instead of only a single item, we hope attention mechanisms can better capture the nature of the task. Area attention can work along multi-head attention for attending to multiple areas in the memory. We evaluate area attention on two tasks: neural machine translation and image captioning, and improve upon strong (state-of-the-art) baselines in both cases. These improvements are obtainable with a basic form of area attention that is parameter free. In addition to proposing the novel concept of area attention, we contribute an efficient way for computing it by leveraging the technique of summed area tables.

연구 동기 및 목표

• 기존의 항목 기반 어텐션 메커니즘이 단일 항목에만 초점을 맞추기 때문에 데이터의 구조적 또는 맥락적 일관성을 포착하지 못하는 한계를 해결하기 위해.
• 모델이 메모리 내 인접한 항목의 그룹(영역)에 주목할 수 있도록 하는 새로운 어텐션 메커니즘을 제안하기 위해.
• 인접 항목의 일관성에 기반해 동적으로 영역 크기를 학습함으로써, 의미 있는 영역에 자동으로 집중할 수 있도록 모델을 적응적으로 설계하기 위해.
• 합산 영역 표를 활용해 효율적인 계산 방법을 제공함으로써 확장성을 확보하기 위해.
• 실세계 작업, 예를 들어 신경 기계 번역과 이미지 캡션 생성에서 영역 어텐션의 효과를 평가하기 위해.

제안 방법

• 영역 어텐션은 메모리 내 항목의 연속적인 영역을 영역으로 정의하며, 이는 공간적으로 인접한 항목(예: 2차원 특징 맵에서) 또는 시간적으로 인접한 항목(예: 시퀀스에서)일 수 있다.
• 각 영역의 크기는 모델이 학습한 인접 항목의 일관성에 기반해 동적으로 결정되며, 이는 가변 크기의 수신장(field)을 가능하게 한다.
• 다중 헤드 어텐션과 자연스럽게 통합되어, 서로 다른 헤드에서 병렬로 여러 영역에 주목할 수 있다.
• 합산 영역 표(또는 적분 영상으로도 알려진)를 통해 효율적인 계산이 이루어지며, 이는 직사각형 또는 연속된 영역에 대한 영역 합을 일정 시간 내에 계산할 수 있도록 한다.
• 이 방법은 파rameter가 없는 것으로, 표준 어텐션 메커니즘 외에 추가로 학습 가능한 파rameter를 도입하지 않는다.
• 어텐션 가중치는 개별 토큰이 아니라 전체 영역에 대해 계산되며, 어텐션 점수는 각 영역이 쿼리에 대해 얼마나 관련성이 있는지 반영한다.

실험 결과

연구 질문

• RQ1 개별 항목 대신 메모리의 연속적인 영역(영역)에 주목함으로써, 시퀀스 모델링 및 비전 작업에서 성능 향상이 이루어지는가?
• RQ2 항목의 일관성에 기반한 동적 영역 크기 선택이 모델 성능과 일반화 능력에 어떤 영향을 미치는가?
• RQ3 추가 파arameter나 계산 오버헤드 없이 영역 어텐션을 효율적으로 계산할 수 있는가?
• RQ4 신경 기계 번역 및 이미지 캡션 생성과 같은 작업에서 표준 항목 기반 어텐션보다 영역 어텐션이 우수한가?
• RQ5 합산 영역 표의 사용이 실세계 모델에서 영역 어텐션의 실용적 구현을 가능하게 하는가?

주요 결과

• 영역 어텐션은 신경 기계 번역에서 강력한 최첨단 기준 모델보다 더 우수한 성능을 달성한다.
• 이미지 캡션 생성에서는 강력한 기준 모델보다 뚜렷한 성능 향상을 보이며, 비전-언어 작업에서의 효과성을 입증한다.
• 기본적이고 파arameter가 없는 영역 어텐션 형태를 사용함으로써 성능 향상가 이루어지며, 이는 메커니즘이 핵심 혁신임을 시사한다.
• 합산 영역 표의 사용은 영역 어텐션의 효율적 계산을 가능하게 하여 실세계 응용 분야에서 확장성과 실용성을 확보한다.
• 일관성에 기반한 동적 영역 크기 선택은 의미 있는 항목 그룹에 집중할 수 있도록 하여 표현 학습을 향상시킨다.
• 영역 어텐션은 2차원(이미지)과 1차원(시퀀스)의 다양한 메모리 구조에 일반화되어 있어 광범위한 적용 가능성을 보여준다.